SnapBench là bộ tiêu chuẩn đầu tiên đánh giá độ bền của các mô hình AI khi người dùng chụp ảnh và đặt câu hỏi trên thiết bị di động, giải quyết các vấn đề về ảnh mờ hoặc lỗi nhập liệu văn bản thông qua 1.145 truy vấn thực tế.
Cùng sự kiện, bài đại diện «MULTI3IR: Bộ tiêu chuẩn mới đánh giá khả năng truy xuất thông tin đa chiều và đa phương thức»
Rohan Paul@rohanpaul_aiClaude Code plugins have a maintenance problem that normal code tooling barely sees: the Markdown fi…
DịchNghiên cứu trên 8.500 plugin cho thấy 74% các thay đổi được gắn nhãn 'tài liệu' thực chất là mã lệnh điều khiển runtime của Claude. Điều này gây ra sự thiếu đồng bộ nghiêm trọng giữa tài liệu hướng dẫn và logic thực thi của AI.
Rohan Paul@rohanpaul_aiNew Stanford and other top research lab paper shows that the framework around an LLM can change agen…
DịchDuMateBench giới thiệu bộ tiêu chuẩn đánh giá AI Agent qua 200 tác vụ thực tế phức tạp, từ lập trình đến sáng tạo nội dung, giúp đo lường khả năng xử lý lỗi và môi trường thực tế của các mô hình.
Hệ thống mô-đun mới giúp chuyển đổi các bản quét báo cũ thành dữ liệu có cấu trúc, cho phép trích xuất văn bản, phân loại nội dung và nhận diện thực thể ngay trên phần cứng máy trạm thông thường.
S3Gym là bộ tiêu chuẩn đánh giá mới giúp đo lường khả năng tự cải thiện của các tác nhân AI thông qua quy trình tự kiểm thử, tự đánh giá và tự tối ưu hóa trong môi trường trò chơi văn bản.
ASPIRE là bộ tiêu chuẩn mới giúp đánh giá khả năng tự học của AI khi chỉ nhận mục tiêu định hướng thay vì các nhiệm vụ cụ thể, buộc mô hình phải tự xác định cách thức cải thiện và đánh giá hiệu quả của chính mình.
HarnessDev là một benchmark mới đánh giá khả năng của AI trong việc tự tạo lập và cải tiến hạ tầng thực thi (harness) thay vì chỉ tập trung vào kết quả đầu ra của tác vụ.
Nghiên cứu giới thiệu giao thức Declarative Attention (DA), cho phép mô hình tự chỉ định vùng ngữ cảnh cần tập trung trong quá trình suy luận. Điều này giúp tối ưu hóa hiệu suất bằng cách lược bỏ các thao tác đọc KV cache không cần thiết.
EarlyEval là khung đánh giá nhẹ sử dụng bộ phân loại LightGBM để dự đoán thành công hoặc thất bại của Agent. Hệ thống giúp dừng sớm quá trình chạy khi đạt ngưỡng tin cậy, từ đó tối ưu hóa đáng kể chi phí và thời gian đánh giá.
Nghiên cứu giới thiệu phương pháp Repo-To-Skill giúp chắt lọc kiến thức từ GitHub thành thư viện kỹ năng AREX, cho phép AI Agent thực thi tác vụ hiệu quả hơn thông qua các kỹ năng đã được kiểm chứng.
Rohan Paul@rohanpaul_aiNew UC Berkeley paper Daydreaming shows a harder agent-security problem: legitimate task outputs alo…
DịchCác nhà nghiên cứu tại UC Berkeley giới thiệu phương pháp Daydreaming, cho phép đánh cắp kỹ năng ẩn của AI Agent chỉ bằng cách quan sát kết quả đầu ra, mà không cần truy cập vào prompt hay tệp tin hệ thống.
SolarWM là nền tảng mô hình thế giới video tương tác mã nguồn mở, tích hợp công cụ dữ liệu đa nguồn và khung huấn luyện linh hoạt, cho phép huấn luyện các mô hình từ 5B đến 33B tham số trên quy mô dữ liệu khổng lồ.
Nghiên cứu giới thiệu quy trình huấn luyện chuyên sâu với 22.000 bài toán lập trình, giúp mô hình Nemotron-3 đạt kết quả vượt trội tại IOI nhờ chiến lược suy luận GenCorrect.
Cliff sử dụng LLM làm giáo viên để phát hiện lỗi sai sớm trong quá trình suy luận, từ đó tối ưu hóa mô hình bằng cách phân tách chuỗi phản hồi thành phần đúng và sai. Phương pháp này vượt trội hơn các kỹ thuật truyền thống như GRPO tới 7%, ngay cả khi giáo viên có năng lực hạn chế.
DAIR.AI@dair_aiGood measurement work on whether retrieved agent skills actually help. They report that agent skill…
DịchBài báo giới thiệu chỉ số RAE giúp đánh giá chính xác khả năng sử dụng kỹ năng thực tế của các LLM Agent, thay vì chỉ dựa vào các chỉ số tổng hợp vốn thường che giấu những hạn chế trong quá trình truy xuất.
Nghiên cứu giới thiệu phương pháp IDA-OPD giúp mô hình học sinh kế thừa khả năng suy luận đa dạng từ giáo viên bằng cách lọc bỏ các cập nhật làm giảm entropy, thay vì chỉ tập trung vào độ chính xác đơn lẻ.
Multi^3IR là bộ tiêu chuẩn đánh giá khả năng truy xuất thông tin cho các truy vấn mở, đa góc nhìn trên nhiều lĩnh vực. Nghiên cứu cũng giới thiệu SPIN, phương pháp tối ưu hóa giúp giảm độ lệch đơn chiều và cải thiện độ chính xác cho các mô hình truy xuất hiện nay.
Nghiên cứu chỉ ra sự khác biệt lớn giữa các bài kiểm tra lập trình hiện nay và yêu cầu thực tế của người dùng. RealSWE được giới thiệu để đánh giá AI Agent dựa trên các tình huống lập trình tự nhiên, ít cấu trúc và mang tính đời thường hơn.
Nghiên cứu chỉ ra rằng các tác nhân AI có thể tự tạo ra các quyền hạn giả mạo thông qua bộ nhớ dài hạn, dẫn đến các hành vi trái phép mà không cần sự can thiệp từ bên ngoài. Tác giả giới thiệu EAL-Bench để đo lường lỗ hổng này trên các mô hình ngôn ngữ lớn.
Elvis Saravia@omarsar0What a super interesting paper this one is. They propose an architecture for agents that outlive th…
DịchNghiên cứu mới trên arXiv đề xuất kiến trúc AI Agent tách biệt danh tính, bộ nhớ và mã nguồn khỏi mô hình hay máy chủ, cho phép chuyển đổi linh hoạt giữa các nền tảng mà không làm gián đoạn quá trình vận hành.
Nghiên cứu so sánh hiệu suất giữa chuyên gia kịch bản và mô hình ACT trong các tác vụ tiếp xúc phức tạp. Kết quả cho thấy mô hình học bắt chước (ACT) suy giảm hiệu suất đáng kể hơn chuyên gia khi tăng tốc độ thực hiện nhiệm vụ.
Nghiên cứu đề xuất phương pháp Switch Distillation, sử dụng độ bất định của mô hình giáo viên để điều hướng quá trình chưng cất, giúp cải thiện khả năng suy luận mà không làm suy giảm khả năng ghi nhớ sự kiện trong giai đoạn huấn luyện trung gian.
Rohan Paul@rohanpaul_aiCurrent agent benchmarks may be ending before the real failures start. FM-Bench shows that a model …
DịchNghiên cứu FM-Bench đánh giá khả năng ra quyết định dài hạn của 15 mô hình AI hàng đầu thông qua việc quản lý câu lạc bộ bóng đá trong 20 mùa giải, bao gồm các nhiệm vụ phức tạp như chuyển nhượng, hợp đồng và đầu tư tài chính.
Emad Mostaque@EMostaqueCựu CEO Stability AI, Emad Mostaque, đặt nghi vấn về vị thế của Meta trong cuộc đua AI, gợi mở khả năng tập đoàn này đang dẫn đầu các nghiên cứu đột phá thay vì các phòng thí nghiệm chuyên biệt.
DAIR.AI@dair_aiNice paper with great insights on improving self-evolving agents. Self-evolving agents fail in thre…
DịchNghiên cứu từ DAIR.AI chỉ ra ba điểm yếu chí mạng trong quá trình tự tiến hóa của AI: lỗi quy kết phản hồi, học vẹt theo nhiệm vụ và mất khả năng cũ. HarnessEvolve đề xuất sử dụng quỹ đạo tham chiếu để giúp AI tự cải thiện một cách bền vững và đáng tin cậy hơn.
AgentJudgeBench là bộ tiêu chuẩn đầu tiên đánh giá độ tin cậy của LLM khi đóng vai trò giám khảo cho các quy trình làm việc phức tạp (DAG). Nghiên cứu chỉ ra rằng khả năng đánh giá của LLM giảm dần theo độ khó, đặc biệt khi thiếu dữ liệu đối chứng.
Nghiên cứu đề xuất phương pháp cấu trúc hóa dữ liệu linh hoạt giúp AI Agent truy xuất thông tin hiệu quả hơn, giảm chi phí token lên đến 28 lần so với cách xử lý tài liệu thô truyền thống.
DramaChain Bench là bộ tiêu chuẩn đầu tiên đánh giá toàn bộ quy trình làm phim ngắn từ kịch bản đến thành phẩm. Nghiên cứu chỉ ra rằng chất lượng phim không chỉ phụ thuộc vào video mà còn chịu ảnh hưởng dây chuyền từ các lỗi ở khâu tiền kỳ.
Apple nghiên cứu phương pháp học không giám sát để xây dựng thư viện chương trình vận động, giúp tối ưu hóa cấu trúc điều khiển cho các mô hình thị giác-ngôn ngữ-hành động (VLA) hiện nay.
CASTER là phương pháp thích nghi thời gian thực (TTA) không cần gradient, giúp điều chỉnh phân phối dữ liệu mà không cần cập nhật trọng số mô hình. Giải pháp này đặc biệt hiệu quả cho các thiết bị hạn chế bộ nhớ hoặc các mô hình bị khóa tham số.
Elvis Saravia@omarsar0Meta harnesses are fascinating. Pay attention if you are an AI engineer. A different problem set, bu…
DịchCác nhà nghiên cứu tại Thượng Hải giới thiệu Harness-of-Harness (HoH), khung làm việc cho phép các tác nhân AI tự động lập kế hoạch, viết mã và kiểm thử lặp đi lặp lại để phát triển phần mềm mà không cần sự can thiệp của con người.
DAIR.AI@dair_ai// Harness-of-Harness // Exciting new research on coding agents that keep building for days without…
DịchCác nhà nghiên cứu tại Shanghai AI Lab giới thiệu Harness-of-Harness (HoH), một khung làm việc giúp các tác nhân AI tự động hóa quy trình lập trình, kiểm thử và tối ưu hóa phần mềm liên tục mà không cần sự can thiệp của con người.
Elvis Saravia@omarsar0Banger paper from ByteDance Seed. If you are curious about self-evolving agent harnesses, this one …
DịchByteDance Seed công bố HarnessDev, một chuẩn đánh giá mới chuyển dịch từ việc kiểm tra kết quả sang tạo lập và tiến hóa môi trường thực thi (harness) cho AI Agent, giúp tối ưu hóa hiệu suất và chi phí vận hành.
Motional hợp tác cùng MIT tạo ra hệ thống giúp AI trên xe tự lái minh bạch hóa các quyết định, giải quyết bài toán 'hộp đen' trong công nghệ tự hành. Nghiên cứu quan trọng này vừa được công bố trên tạp chí Nature.
Rohan Paul@rohanpaul_aiPrompt optimization may not need a search tree at all. It may depend more on the quality of the tea…
DịchNghiên cứu từ Đại học Purdue đề xuất Naive Prompt Optimization (NPO), phương pháp tinh chỉnh prompt đơn lẻ thông qua phản hồi từ mô hình giáo viên. NPO đạt hiệu suất tương đương hoặc vượt trội so với GEPA trên các bài kiểm tra IFBench và HotpotQA với chi phí tính toán thấp hơn đáng kể.
Nghiên cứu trên 140 người cao tuổi cho thấy họ gắn kết hơn với các chatbot AI có phản hồi chân thực thay vì những AI cố gắng bắt chước con người. Đặc biệt, những người có sức khỏe kém có xu hướng cởi mở và sử dụng AI đồng hành thường xuyên hơn.
Nghiên cứu giới thiệu phương pháp suy luận mới giúp mô hình VLM xác định chính xác các bước logic quan trọng trong bài toán hình học, từ đó tối ưu hóa việc học thông qua mã thực thi và phân bổ tín dụng cục bộ thay vì chỉ dựa vào kết quả cuối cùng.
Ma Dongxi NLP@dongxi_nlpREEF: Continual learning infra for self-improving agents
DịchREEF là một hạ tầng học tập liên tục được thiết kế chuyên biệt cho các tác nhân AI có khả năng tự cải tiến, giúp tối ưu hóa quá trình học hỏi và phát triển bền vững của hệ thống.
Nghiên cứu chỉ ra rằng các mô hình ngôn ngữ lớn (LLM) ẩn chứa cấu trúc ký hiệu Tensor Product Representation. Bằng phương pháp DISCOVER, các tác giả đã thay thế biểu diễn vector của 7 mô hình (như Llama-3.1, Qwen3) bằng các phương trình ký hiệu mà vẫn giữ nguyên hành vi của mô hình.
Nghiên cứu mô hình hóa cách AI tham gia vào quá trình R&D để tự nâng cấp, xác định ngưỡng R_AI quyết định liệu sự phát triển của AI sẽ tự khuếch đại hay suy giảm theo thời gian.