AutoSaddler là khung làm việc tự động giúp tối ưu hóa các khung điều khiển (harness) cho tác nhân AI bằng cách học từ lỗi thực thi, giúp cải thiện đáng kể độ tin cậy trong các tác vụ dài hạn trên các nền tảng như SWE-Bench Pro.
Nghiên cứu giới thiệu phương pháp kiểm định nhẹ giúp phát hiện lỗi rò rỉ dữ liệu tương lai trong các mô hình AI, vốn thường bị bỏ qua bởi các kỹ thuật kiểm tra mặt nạ (mask) truyền thống.
MiniMax@MiniMax_AILove seeing real-world agent benchmarks like this 👇 MiniMax-M3: $0.018 to spin up an inbox, write …
DịchMiniMax-M3 thiết lập chuẩn mực mới cho AI agent khi hoàn thành tác vụ gửi email chuyên nghiệp chỉ với 0,018 USD, khẳng định vị thế là mô hình hiệu quả nhất về chi phí trên thị trường hiện nay.
DAIR.AI@dair_ai// There Is No Neutral Harness // Great work discussing some of the issues in harness evaluation. …
DịchNghiên cứu chỉ ra rằng chỉ cần thay đổi thứ tự đáp án hoặc cách diễn đạt câu lệnh, điểm số của các mô hình AI có thể dao động cực lớn, khiến bảng xếp hạng hiện nay trở nên thiếu khách quan.
Elvis Saravia@omarsar0Great paper on agent harnesses.
DịchNghiên cứu mới chỉ ra rằng cách thiết lập bộ khung đánh giá ảnh hưởng cực lớn đến kết quả của AI. Chỉ cần thay đổi thứ tự đáp án hay cách đặt câu hỏi, thứ hạng của các mô hình có thể bị đảo lộn hoàn toàn, cho thấy các bài kiểm tra hiện nay còn nhiều lỗ hổng.
Rohan Paul@rohanpaul_aiPrime Agent, the harness that put Opus 5 at 95.5% on ARC-AGI-3, now has a technical report. The mec…
DịchPrime Agent giới thiệu cơ chế phân tầng bộ nhớ giúp tối ưu hóa khả năng xử lý của AI thông qua việc quản lý dữ liệu trên nhiều lớp, từ ngữ cảnh hoạt động đến lưu trữ ổ đĩa, giúp chuyển đổi các tác vụ ngữ cảnh dài thành bài toán quản trị thông tin hiệu quả.
Nghiên cứu sử dụng AstroPT, một mô hình transformer huấn luyện trên dữ liệu thiên hà, làm thước đo để hiểu cách các khái niệm hình thành trong LLM. Kết quả cho thấy AI học các đặc tính từ đơn giản đến phức tạp theo trình tự cố định, giúp làm rõ cơ chế nội tại của các mô hình ngôn ngữ lớn.
GitHub tiết lộ quy trình đánh giá LLM tập trung vào hiệu suất thực tế thay vì chỉ dựa vào các bộ điểm chuẩn, giúp đảm bảo khả năng nhận diện thông tin nhạy cảm trong môi trường vận hành thực tế.
LangChain vừa gọi vốn thành công 10 triệu USD do Benchmark dẫn đầu. Nguồn vốn này sẽ được dùng để phát triển khung mã nguồn mở, giúp các nhà phát triển xây dựng ứng dụng AI thông minh có khả năng nhận diện dữ liệu.
LangChain giới thiệu bộ tiêu chuẩn đánh giá toàn diện cho các hệ thống hỏi đáp dữ liệu CSV, tập trung vào hiệu suất của tác nhân (agent), khả năng truy xuất và mô hình LLM để giúp nhà phát triển tối ưu hóa ứng dụng thực tế.
LangSmith vừa ra mắt tính năng tích hợp Pytest và Vitest, cho phép nhà phát triển thực hiện đánh giá mô hình trực tiếp trong quy trình kiểm thử phần mềm quen thuộc.
Cube và LangChain hợp tác sử dụng lớp ngữ nghĩa để cung cấp ngữ cảnh dữ liệu có cấu trúc cho LLM, giúp giảm thiểu hiện tượng ảo giác và hỗ trợ truy vấn dữ liệu bằng ngôn ngữ tự nhiên.
LangServe bổ sung giao diện Playground và khả năng tùy chỉnh tham số, giúp đơn giản hóa việc triển khai, thử nghiệm mô hình và tối ưu hóa quy trình làm việc nhóm cho các ứng dụng LangChain.
Bài viết cung cấp quy trình toàn diện sử dụng LangSmith để quản lý dữ liệu, tinh chỉnh và kiểm chứng hiệu quả các mô hình LLM như LLaMA2 và GPT-3.5, giúp nhà phát triển tối ưu hóa mô hình một cách hệ thống.
LangChain giới thiệu quy trình tự động hóa nghiên cứu web, sử dụng Retriever để tìm kiếm và tổng hợp thông tin từ nhiều nguồn thông qua LLM, giúp tối ưu hóa việc thu thập dữ liệu.
Bài viết hướng dẫn cách sử dụng LLM để truy vấn cơ sở dữ liệu SQL bằng ngôn ngữ tự nhiên, tập trung vào các kỹ thuật giảm thiểu ảo giác và tối ưu hóa độ chính xác thông qua khung làm việc LangChain.
Kỹ thuật Ngữ cảnh đang trở thành phương pháp then chốt để xây dựng ứng dụng LLM đáng tin cậy, tập trung vào việc chủ động quản lý đầu vào thay vì chỉ dựa vào khả năng tự thân của mô hình.
EleutherAI chia sẻ kinh nghiệm phát triển các bộ phát hiện hành vi lừa dối của AI thông qua phân tích hộp đen và hộp trắng, đồng thời chỉ ra những hạn chế thực tế và hướng đi tương lai.
Rohan Paul@rohanpaul_aiThe harness around a model decided more of the benchmark score than the model itself. So treat scaff…
DịchNghiên cứu chỉ ra rằng trong môi trường dòng lệnh, hệ thống hỗ trợ (scaffold) ảnh hưởng đến hiệu suất AI Agent nhiều hơn chính mô hình ngôn ngữ. Việc nâng cấp mô hình trong cùng một hệ thống thường chỉ làm tăng độ trễ thay vì cải thiện khả năng giải quyết tác vụ.
Bài viết đi sâu vào quy trình huấn luyện, kiến trúc kỹ thuật và các cải tiến quan trọng giúp dòng mô hình Granite 4.2 của IBM đạt hiệu suất vượt trội trong các tác vụ ngôn ngữ.
Alibaba chuẩn bị trình làng Qwen 3.8-Flash-Next với quy mô 125B tham số. Trang thông tin của mô hình đã xuất hiện trên ModelScope và đang thu hút sự chú ý lớn từ cộng đồng công nghệ quốc tế.
Thêm 1 nguồn khác đưa tinX: Qwen (@Alibaba_Qwen)Nghiên cứu mới chỉ ra rằng việc mở rộng cửa sổ ngữ cảnh không hiệu quả do suy giảm tương quan. Thay vào đó, phương pháp phân bổ lặp lại theo trình tự giúp tăng tỷ lệ thu hồi lên tới 20.5%, tối ưu hóa hiệu suất cho các hệ thống RAG.
Apple trình làng Mac Studio mới trang bị chip M5 Max và M5 Ultra, mang lại hiệu năng AI tăng 4,3 lần và khả năng chạy các mô hình ngôn ngữ lớn (LLM) trực tiếp trên thiết bị với bộ nhớ thống nhất lên đến 512GB.
Diễn biến sự kiện · 4 bài →Thêm 1 nguồn khác đưa tinIT HomeSTARFlow2 tích hợp dòng chuẩn hóa tự hồi quy vào LLM, tận dụng cấu trúc chung để tạo ảnh đa phương thức mà không làm giảm độ trung thực của hình ảnh như phương pháp token hóa rời rạc.
Rohan Paul@rohanpaul_aiGiving an agent a memory hierarchy is not what makes it reason better over long tasks. What helps is…
DịchNghiên cứu giới thiệu Weighted Memory Tree, phương pháp gán trọng số và giảm dần độ ưu tiên cho các ký ức thay vì xếp chồng dữ liệu, giúp AI Agent cải thiện độ chính xác và tiết kiệm chi phí token khi xử lý các tác vụ phức tạp.
LongWoF-Bench cung cấp 778 tác vụ kiểm chứng tự động cho LLM. Phương pháp EvoMap giúp cải thiện hiệu suất trung bình từ 8.7-15.5% trên nhiều mô hình, đồng thời tối ưu hóa đáng kể chi phí token.
Kim@kimmonismusOur first glimpse of Qwen4 is here! Alibaba is about to release Qwen3.8-Flash-Next, an open-weight …
DịchAlibaba chuẩn bị ra mắt Qwen3.8-Flash-Next, mô hình đa phương thức MoE sử dụng kiến trúc thế hệ mới làm nền tảng cho dòng Qwen4 sắp tới, cho phép cộng đồng trải nghiệm sớm các cải tiến kỹ thuật.
Phương pháp QAH giúp phục hồi khả năng suy luận và lập trình cho các mô hình LLM sau khi nén và lượng tử hóa 4-bit bằng cách chưng cất trực tiếp từ mô hình gốc, thay thế hiệu quả cho kỹ thuật QAT truyền thống.
Kim@kimmonismusLocal models are getting ridiculously good. Qwen3.8-27B just entered the top 10 in Arena's WebDev be…
DịchMô hình Qwen3.8-27B đạt vị trí thứ 9 trên Code Arena (WebDev) với 1595 điểm, trở thành mô hình duy nhất cùng kích thước lọt top 10. Với khả năng chạy cục bộ mạnh mẽ, đây là bước tiến lớn cho các mô hình mã nguồn mở tiệm cận trình độ tiên phong.
Industrial-Instruction sử dụng 906 tài liệu kỹ thuật từ Panasonic để tạo bộ dữ liệu QA, giúp cải thiện đáng kể độ chính xác của các mô hình LLM dưới 10B tham số trong việc truy xuất thông tin chuyên ngành.
Thomson Reuters vừa giới thiệu mô hình AI tự phát triển với chi phí tối ưu, đạt hiệu suất ngang ngửa các mô hình hàng đầu trong việc xử lý dữ liệu chuyên sâu. Hãng cũng đã phát hành phiên bản 'small' trên Hugging Face cho mục đích nghiên cứu.
Alibaba Cloud chính thức đưa Token Plan lên ứng dụng Qwen trên PC và di động, cho phép người dùng sử dụng hạn mức đăng ký để thực hiện các tác vụ AI phức tạp và linh hoạt chuyển đổi giữa các mô hình như Qwen3.8-Max.
Nghiên cứu giới thiệu ERPO, phương pháp chuyển chính quy hóa từ hành động sang đầu vào giúp cân bằng giữa tính ổn định và khả năng khám phá của LLM. ERPO cải thiện đáng kể độ chính xác trong suy luận toán học mà không làm tăng chi phí tính toán.
Nghiên cứu mới với bộ tiêu chuẩn FORGE chỉ ra rằng các mô hình LLM khi kết hợp RAG rất dễ bị lừa bởi nội dung độc hại, khiến chúng vô tình quảng bá sản phẩm giả mạo chỉ với một trang web bị nhiễm bẩn.
X.PIN@thexpinThomson Reuters has launched Thomson, its first LLM - built on Alibaba's Qwen3.5-397B. Total R&D: ~$…
DịchThomson Reuters vừa giới thiệu mô hình ngôn ngữ lớn đầu tiên mang tên Thomson, được tinh chỉnh từ Qwen3.5-397B với chi phí 40 triệu USD. Mô hình này tập trung vào độ an toàn, tính trung lập và đạt hiệu suất ấn tượng trong các bài kiểm tra chuyên môn về luật.
Thêm 1 nguồn khác đưa tinHacker News Nổi bật (buzzing.cc bản dịch tiếng Trung)MobilePA-Bench là bộ tiêu chuẩn tương tác mới giúp đánh giá khả năng lập kế hoạch và sử dụng công cụ của các tác nhân AI trên di động thông qua 212 công cụ thực tế. Kết quả cho thấy các mô hình ngôn ngữ lớn hiện nay vẫn gặp khó khăn khi xử lý các ràng buộc phức tạp và lỗi vận hành.
Rohan Paul@rohanpaul_aiA model's internal estimate of your expertise steers how it answers you and whether it hires you. L…
DịchNghiên cứu chỉ ra rằng mô hình ngôn ngữ tự ước tính năng lực người dùng để điều chỉnh độ phức tạp của câu trả lời. Dù tồn tại các vector định kiến, nghiên cứu chưa tìm thấy bằng chứng rõ ràng về việc chúng gây ra phân biệt đối xử trong đầu ra.
Task-CoEvolve giới thiệu phương pháp tối ưu hóa harness cho LLM bằng cách cho phép các tác vụ kiểm chứng cùng tiến hóa, giúp giảm 80% chi phí đánh giá mà vẫn duy trì độ chính xác tương đương với bộ dữ liệu đầy đủ.
Rohan Paul@rohanpaul_aiYou can teach a language model a new modality without ever touching the backbone's weights. Train …
DịchNghiên cứu mới đề xuất phương pháp chỉ huấn luyện lớp kết nối giữa encoder và mô hình ngôn ngữ, giúp bổ sung đa phương thức mà không cần tinh chỉnh toàn bộ tham số, vừa tăng tốc độ huấn luyện vừa bảo toàn hiệu suất gốc của mô hình.
GameXpert-Bench là bộ tiêu chuẩn mới đánh giá khả năng của các AI lập trình thông qua ba giai đoạn: tạo game, sửa lỗi và tối ưu hóa, nhằm đo lường hiệu quả thực tế trong quy trình phát triển trò chơi phức tạp.