VBVR-Pro là nền tảng kiểm thử khép kín sử dụng tạo sinh hình ảnh làm phương tiện suy luận, giúp việc suy luận thị giác trở nên có thể huấn luyện và kiểm chứng. Hệ thống vượt trội hơn các mô hình VLM truyền thống nhờ cơ chế đánh giá dựa trên quy tắc xác định.
Nghiên cứu chỉ ra rằng khả năng trả lời câu hỏi trực tiếp không phản ánh đúng sự hài lòng của người dùng. MemUse đề xuất phương pháp đánh giá mới dựa trên cách AI tích hợp ngữ cảnh quá khứ một cách tự nhiên vào hội thoại.
Rohan Paul@rohanpaul_aiAutomatically patching an agent's harness is easy; keeping the patches that help is the hard part. …
DịchAutoSaddler tự động tinh chỉnh prompt và công cụ từ các thất bại, nhưng chỉ áp dụng thay đổi giúp cải thiện hiệu suất thực tế. Nghiên cứu cảnh báo rằng nếu thiếu kiểm soát, việc tự động hóa có thể gây tác dụng ngược so với thiết kế thủ công.
Rohan Paul@rohanpaul_aiDoes giving research agents full autonomy add capability Cambridge, Hong Kong Univ and other labs f…
DịchNghiên cứu mới từ Cambridge và HKU cho thấy các tác tử AI tự chủ có thể tự đưa ra các chứng minh toán học vượt ngoài yêu cầu, thay đổi quan điểm cho rằng AI chỉ là công cụ hỗ trợ cần sự giám sát chặt chẽ.
Rohan Paul@rohanpaul_aiWhat if context management were a program the model writes rather than a rule your harness applies? …
DịchAlibaba giới thiệu Scroll, hệ thống quản lý ngữ cảnh thông minh chuyển đổi từ quyết định khi ghi sang truy vấn, giúp tối ưu hóa bộ nhớ cho mô hình Qwen3.8-Max. Giải pháp này đạt 73.1 điểm trên BEAM, vượt trội so với các hệ thống hiện có.
Rohan Paul@rohanpaul_aiAttaching a skill file to every prompt in a coding session is usually a net loss. A skill file hur…
DịchNghiên cứu chỉ ra rằng việc đính kèm tài liệu kỹ năng vào prompt khiến hiệu suất lập trình giảm từ 1.3-4.2 điểm, đồng thời làm tăng chi phí token ít nhất 72%. Thay vì áp dụng đại trà, các nhà phát triển nên cân nhắc kỹ lưỡng việc sử dụng kỹ thuật này dựa trên từng tác vụ cụ thể.
Elvis Saravia@omarsar0Good read. Improving recursive self-improvement through emergent depth.
DịchMeta^n là phương pháp đột phá cho phép các tác nhân AI tự cải tiến thông qua đệ quy đầu vào thay vì sửa đổi cơ chế cốt lõi. Kỹ thuật này đã chứng minh hiệu suất vượt trội trên 8 bộ tiêu chuẩn, bao gồm cả ARC-AGI-2.
Thêm 1 nguồn khác đưa tinX: DAIR.AI (@dair_ai)
AK@_akhaliqAutonomous Mathematical Discovery in an Open-World Multi-Agent Environment paper: https://huggingfa...
DịchNghiên cứu giới thiệu phương pháp mới cho phép các hệ thống đa tác nhân tự động thực hiện các khám phá toán học trong môi trường thế giới mở đầy thách thức.
DAIR.AI@dair_aiInteresting new approach to recursive self-improvement in agents. Systems that add a meta-level hol…
DịchDAIR.AI giới thiệu Meta^n, phương pháp đệ quy giúp AI tự cải tiến mà không làm mất ổn định hệ thống. Kỹ thuật này vượt qua các mô hình tiền nhiệm trên 8 bộ benchmark và là phương pháp duy nhất đạt điểm dương trên ARC-AGI-2.
Anthropic đã cung cấp 250.000 đoạn hội thoại từ Claude cho các viện nghiên cứu tại Stanford, Oxford và METR thông qua công cụ bảo mật Anthropic Insights để phục vụ các nghiên cứu độc lập.
Anthropic@AnthropicAIFor the first time, we've given external researchers a way to study AI's impacts using real, privacy…
DịchAnthropic chính thức cung cấp dữ liệu sử dụng Claude đã được ẩn danh cho các nhà nghiên cứu bên ngoài, nhằm thúc đẩy việc đánh giá tác động của AI một cách minh bạch và khách quan hơn.
DAIR.AI@dair_aiIntroducing AI Papers of the Week: https://academy.dair.ai/papers We took the top AI papers of the …
DịchDAIR.AI vừa giới thiệu nền tảng tổng hợp các bài báo khoa học AI tiêu biểu trong 3 năm qua, hỗ trợ phân loại theo chủ đề và tích hợp tính năng trò chuyện trực tiếp với nội dung nghiên cứu.
Kim@kimmonismusOpenAI officially expects AGI by end of *this* year (2026) "Altman told me that OpenAI was "not qui…
DịchCEO Sam Altman kỳ vọng OpenAI sẽ sở hữu hệ thống AGI vào cuối năm 2026. Đồng thời, công ty đã phát triển Astra, một AI có khả năng tự thực hiện các nghiên cứu khoa học phức tạp, giúp rút ngắn thời gian làm việc từ hàng tuần xuống chỉ còn trong chốc lát.
SecOPD giải quyết lỗ hổng Prompt Injection bằng cách cung cấp phản hồi ở cấp độ token thay vì toàn bộ chuỗi, giúp mô hình LLM nhận diện và từ chối các lệnh độc hại chính xác hơn so với các phương pháp tinh chỉnh truyền thống.
Elvis Saravia@omarsar0Great new paper from AWS on agent handoff tax. If you build agents today, you need to understand th…
DịchAWS AI Labs giới thiệu khái niệm 'thuế chuyển giao', chỉ ra rằng việc nâng cấp từ mô hình yếu lên mạnh trong quá trình xử lý không bù đắp được hiệu suất như kỳ vọng nhưng lại tốn kém chi phí. Ngược lại, chiến lược hạ cấp mô hình mang lại sự cân bằng tối ưu hơn giữa chất lượng và chi phí.
Nghiên cứu đề xuất chuyển đổi các chuỗi hành động phức tạp của LLM Agent thành mô hình trạng thái hữu hạn (FSM) nhỏ gọn, giúp dự đoán lỗi và bước tiếp theo chính xác hơn so với các phương pháp truyền thống.
AgentRoom giới thiệu giao thức cộng tác dựa trên CRDT, cho phép nhiều tác nhân AI cùng lập trình song song trên một không gian làm việc chung, khắc phục hạn chế về sự phối hợp và hiệu suất của các hệ thống hiện nay.
Rohan Paul@rohanpaul_aiA context window is a terrible place to store the state of an 80-minute agent run. One of the bette…
DịchApodex 1.1 thay đổi cách huấn luyện AI bằng cách tích hợp môi trường thực thi trực tiếp vào quy trình thay vì chỉ cung cấp công cụ. Phương pháp này giúp mô hình đạt hiệu suất vượt trội trên các bài kiểm tra khoa học và tài chính nhờ học từ toàn bộ quy trình làm việc thực tế.
ModelBest OpenBMB@OpenBMBExecutable Python code can define a vehicle that works on high-friction ground yet spins uselessly o…
DịchNhóm nghiên cứu từ Đại học Thanh Hoa giới thiệu PACE-Bench, bộ tiêu chuẩn đánh giá khả năng điều chỉnh mã nguồn của AI khi các thông số vật lý thay đổi đột ngột. Kết quả cho thấy việc phản hồi dựa trên mô phỏng thực tế hiệu quả hơn nhiều so với việc chỉ tăng cường khả năng suy luận.
Các nhà khoa học tại Stanford chỉ ra rằng trẻ em chỉ cần tiếp xúc với lượng từ vựng rất nhỏ đã có thể giao tiếp, trong khi AI cần khối lượng dữ liệu khổng lồ nhưng kết quả vẫn kém xa. Điều này đặt ra thách thức lớn cho việc phát triển AI chỉ dựa vào quy mô dữ liệu.
Kim@kimmonismusCoding agents can pass tests and still miss the task. In SWE Refactor Bench, 340 of 520 runs comple…
DịchEinsia ra mắt SWE Refactor Bench để kiểm tra khả năng chuyển đổi hệ thống (như C sang Rust) của AI. Kết quả cho thấy AI vẫn gặp khó khăn lớn với các tác vụ tái cấu trúc phức tạp, khi chỉ 5,4% thử nghiệm vượt qua được các tiêu chuẩn đánh giá khắt khe.
Nhóm nghiên cứu từ Đại học Bách khoa Tây Bắc (NWPU) đã xây dựng bộ dữ liệu đa phương thức chi tiết, giúp AI nhận diện chính xác từng giây khi cảm xúc thực sự bùng nổ.
Nghiên cứu giới thiệu OraRL, phương pháp mới tận dụng dữ liệu chú giải làm 'oracle rollout' để cải thiện hiệu suất học tăng cường cho mô hình MLLM video, giải quyết vấn đề đảo ngược lợi thế trong quá trình huấn luyện.
Nghiên cứu từ Stanford chỉ ra rằng lao động trẻ 22-25 tuổi đang mất dần cơ hội việc làm đầu đời do AI thay thế các tác vụ cơ bản, trong khi trình độ học vấn cao giúp giảm thiểu rủi ro này.
BPCO là phương pháp huấn luyện mới kết hợp nhiều kỹ thuật tiên tiến nhằm khắc phục sự bất ổn trong Reinforcement Learning dựa trên Critic, giúp cải thiện đáng kể khả năng suy luận toán học của các mô hình ngôn ngữ lớn.
OPDVR là phương pháp mới kết hợp học tăng cường dựa trên phần thưởng kiểm chứng (RLVR) với chưng cất chính sách trực tuyến (OPD) mà không cần thêm siêu tham số, giúp tối ưu hóa mô hình hiệu quả hơn.
Meta^n giới thiệu phương pháp tự cải thiện đệ quy bằng cách mở rộng chiều sâu xử lý thông qua các thao tác meta cố định. Mô hình này vượt trội hơn các tác nhân tự cải thiện hiện có trên 8 bộ tiêu chuẩn, đặc biệt là kết quả ấn tượng tại ARC-AGI-2.
Recuris giới thiệu kiến trúc bộ nhớ đệ quy cho phép AI Agent theo dõi tiến trình và tự cập nhật kỹ năng thông qua các vòng lặp tiến hóa có cấu trúc, giúp nâng cao hiệu suất trong các tác vụ kéo dài.
CAFE là mô hình cho phép tác nhân tìm kiếm và bộ phê bình cùng tiến hóa thông qua học tăng cường trực tuyến và tối ưu hóa ưu tiên, giúp giảm thiểu ảo giác và nâng cao hiệu suất vượt trội trên nhiều tiêu chuẩn đánh giá.
AutoSaddler là khung làm việc tự động giúp tối ưu hóa các khung điều khiển (harness) cho tác nhân AI bằng cách học từ lỗi thực thi, giúp cải thiện đáng kể độ tin cậy trong các tác vụ dài hạn trên các nền tảng như SWE-Bench Pro.
LongRCA Bench là bộ dữ liệu mới giúp xác định vai trò và bước lỗi quyết định trong các quy trình AI dài hạn. Với độ khó cao, công cụ này hỗ trợ nhà phát triển chẩn đoán chính xác điểm thất bại trong hàng trăm bước thực thi.
Elvis Saravia@omarsar0Great paper on why agent leaderboard comparisons are hard to trust. It's on the hot topic of how mu…
DịchNghiên cứu mới chỉ ra rằng 'harness' (lớp trung gian giữa mô hình và tác vụ) ảnh hưởng đến điểm số AI Agent gấp 7,8 lần so với chính mô hình đó, khiến kết quả xếp hạng dễ bị thao túng và thiếu khách quan.
Nghiên cứu giới thiệu phương pháp kiểm định nhẹ giúp phát hiện lỗi rò rỉ dữ liệu tương lai trong các mô hình AI, vốn thường bị bỏ qua bởi các kỹ thuật kiểm tra mặt nạ (mask) truyền thống.
DAIR.AI@dair_ai// There Is No Neutral Harness // Great work discussing some of the issues in harness evaluation. …
DịchNghiên cứu chỉ ra rằng chỉ cần thay đổi thứ tự đáp án hoặc cách diễn đạt câu lệnh, điểm số của các mô hình AI có thể dao động cực lớn, khiến bảng xếp hạng hiện nay trở nên thiếu khách quan.
Elvis Saravia@omarsar0Great paper on agent harnesses.
DịchNghiên cứu mới chỉ ra rằng cách thiết lập bộ khung đánh giá ảnh hưởng cực lớn đến kết quả của AI. Chỉ cần thay đổi thứ tự đáp án hay cách đặt câu hỏi, thứ hạng của các mô hình có thể bị đảo lộn hoàn toàn, cho thấy các bài kiểm tra hiện nay còn nhiều lỗ hổng.
Nghiên cứu sử dụng AstroPT, một mô hình transformer huấn luyện trên dữ liệu thiên hà, làm thước đo để hiểu cách các khái niệm hình thành trong LLM. Kết quả cho thấy AI học các đặc tính từ đơn giản đến phức tạp theo trình tự cố định, giúp làm rõ cơ chế nội tại của các mô hình ngôn ngữ lớn.
Elvis Saravia@omarsar0If you keep safety rules or coding standards in an AGENTS.md or a CLAUDE.md, this one is worth your …
DịchNghiên cứu chỉ ra rằng việc nén ngữ cảnh khiến các AI Agent mất tới 90% quy tắc an toàn sau 5 vòng. Giải pháp 'Knowledge Triage' được đề xuất giúp phân loại dữ liệu thông minh, duy trì tỷ lệ tuân thủ lên đến 96% bất kể tỷ lệ nén.
DAIR.AI@dair_aiFinally, a good paper testing whether Agent Skills actually help. Worth reading if you are maintain…
DịchNghiên cứu chỉ ra rằng việc bổ sung kỹ năng cho AI Agent trong lập trình web làm giảm hiệu suất từ 1.3% - 4.2% và tăng chi phí token đáng kể do nhiễu thông tin. Kết quả cho thấy các kỹ năng này thiếu tính ổn định và khả năng chuyển đổi giữa các mô hình.
Thay vì chỉ tập trung hoàn thành tác vụ, mô hình ComBodied Agents ưu tiên sự thấu hiểu và phát triển dài hạn của con người, đánh dấu bước chuyển mình từ AI thực thi sang AI đồng hành trong đời sống.
EleutherAI chia sẻ kinh nghiệm phát triển các bộ phát hiện hành vi lừa dối của AI thông qua phân tích hộp đen và hộp trắng, đồng thời chỉ ra những hạn chế thực tế và hướng đi tương lai.