V-Rubrics cải thiện độ chính xác của mô hình thị giác-ngôn ngữ bằng cách phân tách câu trả lời thành các mệnh đề nguyên tử và chấm điểm dựa trên độ trung thực, tính nhất quán và khả năng tuân thủ chỉ dẫn, giúp mô hình suy luận tốt hơn thông qua phương pháp GRPO.
Nghiên cứu chỉ ra rằng phương pháp chưng cất đa giáo viên (M-OPD) hiện nay gặp hạn chế lớn trong việc tích hợp năng lực, chỉ đạt 35,6% hiệu suất tối ưu. Nhóm tác giả đề xuất giải pháp khắc phục tình trạng suy giảm chất lượng khi huấn luyện mô hình tổng quát từ các chuyên gia RL.
Agent-G^2 cải thiện hiệu suất học tăng cường trong các tác vụ dài hạn bằng cách sử dụng phân phối Gaussian để xác định độ sâu gợi ý tối ưu thay vì các giá trị cố định, giúp tác nhân khám phá môi trường hiệu quả hơn.
Nghiên cứu giới thiệu OraRL, phương pháp mới tận dụng dữ liệu chú giải làm 'oracle rollout' để cải thiện hiệu suất học tăng cường cho mô hình MLLM video, giải quyết vấn đề đảo ngược lợi thế trong quá trình huấn luyện.
BPCO là phương pháp huấn luyện mới kết hợp nhiều kỹ thuật tiên tiến nhằm khắc phục sự bất ổn trong Reinforcement Learning dựa trên Critic, giúp cải thiện đáng kể khả năng suy luận toán học của các mô hình ngôn ngữ lớn.
OPDVR là phương pháp mới kết hợp học tăng cường dựa trên phần thưởng kiểm chứng (RLVR) với chưng cất chính sách trực tuyến (OPD) mà không cần thêm siêu tham số, giúp tối ưu hóa mô hình hiệu quả hơn.
CAFE là mô hình cho phép tác nhân tìm kiếm và bộ phê bình cùng tiến hóa thông qua học tăng cường trực tuyến và tối ưu hóa ưu tiên, giúp giảm thiểu ảo giác và nâng cao hiệu suất vượt trội trên nhiều tiêu chuẩn đánh giá.
DiffusionOPSD tối ưu hóa mô hình khuếch tán bằng cách chuyển đổi phần thưởng hình ảnh thành mục tiêu dự đoán trực tiếp, giúp cải thiện đáng kể hiệu suất và giảm tới 63% thời gian huấn luyện so với các phương pháp hiện có.
ARC giải quyết vấn đề thiên kiến trong mô hình phần thưởng khi tương tác với người dùng, giúp AI học cách phản hồi linh hoạt và phù hợp với ngữ cảnh thay vì chỉ chạy theo tối ưu hóa phần thưởng đơn thuần.
Nghiên cứu đề xuất phương pháp R2-OPD giúp lọc phản hồi từ giáo viên trong quá trình chưng cất mô hình, đảm bảo việc học tập tập trung vào tiến trình suy luận thực tế thay vì chỉ bắt chước đầu ra của giáo viên.
Rohan Paul@rohanpaul_aiNo amount of post-training cleanly fixes weak long-horizon foundations: noisy trajectories compound …
DịchNghiên cứu chỉ ra rằng hậu huấn luyện không thể khắc phục lỗi tích lũy trong lập kế hoạch dài hạn. Thay vào đó, việc sử dụng mô hình thế giới rõ ràng và kỹ thuật chưng cất chính sách (OPD) giúp tối ưu hóa phản hồi xuyên suốt quỹ đạo thay vì chỉ dựa vào kết quả cuối cùng.
AgentMercury là khung làm việc đột phá giúp tự động tạo ra các môi trường kinh doanh thực tế, có thể kiểm chứng thay vì dựa vào các tác vụ thủ công, cho phép huấn luyện AI trong các quy trình công việc phức tạp và đa dạng.
DAIR.AI@dair_aiMicrosoft giới thiệu Agent Lightning v1.0 giúp tích hợp Agent vào học tăng cường mà không cần viết lại code, đồng thời cải thiện đáng kể hiệu suất mô hình Qwen3.5-9B. Ngoài ra, các nghiên cứu mới còn giải quyết tình trạng quá tải kỹ năng và đề xuất phương pháp đo lường hiện tượng 'quên' trong mô hình AI.
Rohan Paul@rohanpaul_aiYou can now RL-train an agent through the same complex harness it will actually run in, without need…
DịchKhung ClawGym II tích hợp OpenClaw và Claude Code như các hệ thống hộp đen vào quy trình huấn luyện RL, giúp cải thiện đáng kể điểm số trên các bộ benchmark như ClawGym-Bench mà không cần can thiệp vào cấu trúc nội tại của mô hình.
Rohan Paul@rohanpaul_aiNew Microsoft paper says agent training should happen inside the agent's normal operating setup. Oth…
DịchMicrosoft giới thiệu Agent Lightning v1.0, khung huấn luyện AI Agent nhẹ giúp tối ưu hóa mô hình ngay trong môi trường triển khai thực tế thay vì mô phỏng, đảm bảo tính nhất quán và hiệu quả cao hơn cho các ứng dụng AI.
Ma Dongxi NLP@dongxi_nlpTuần này nổi bật với hai nghiên cứu EnvHarness và SPADE, tập trung vào việc tối ưu hóa môi trường mô phỏng và cơ chế tự chơi (self-play) để nâng cao khả năng học tập cho các tác nhân AI.
Elvis Saravia@omarsar0Impressive research from Google on building better environments for agents. Training environments f…
DịchGoogle phát triển EnvHarness và EnvRigger nhằm giải quyết hạn chế của các môi trường huấn luyện tĩnh, giúp AI tự thích nghi và tối ưu hóa hiệu suất thông qua việc tái cấu trúc hành vi và chẩn đoán lỗi. Giải pháp này giúp cải thiện đáng kể độ chính xác và rút ngắn thời gian thực thi tác vụ.
VA-Judger giải quyết vấn đề thiếu tính nhất quán trong tạo video-âm thanh bằng cách sử dụng tập dữ liệu VAPref-10K, giúp mô hình hiểu rõ hơn về sự đồng bộ ngữ nghĩa và cảm nhận của con người thay vì chỉ tối ưu các chỉ số rời rạc.
Ma Dongxi NLP@dongxi_nlpSPADE: Self-Play in Adaptive Synthetic Executable Environments
DịchSPADE là phương pháp huấn luyện tác nhân tự đối đầu, nơi chính AI sẽ tạo ra và cải tiến các môi trường cũng như nhiệm vụ của mình dựa trên chỉ số hối tiếc (regret). Đây là bước tiến quan trọng trong việc giúp AI tự quyết định lộ trình học tập tối ưu.
Mooncake giải quyết nút thắt truyền tải dữ liệu rollout trong hệ thống Miles bằng cách tối ưu hóa I/O hàng loạt, giúp xử lý hiệu quả các dữ liệu phân mảnh từ mô hình LLM quy mô lớn.
Richard Sutton, cha đẻ học tăng cường, cho rằng dữ liệu tổng hợp không thể thay thế trải nghiệm thực tế. Ông khẳng định AI cần học hỏi từ tương tác trực tiếp với thế giới thay vì chỉ dựa vào kho dữ liệu tĩnh trên internet.
SkillGate giải quyết vấn đề thiếu tín hiệu huấn luyện khi tác nhân AI chọn kỹ năng giữa chừng bằng cách tách biệt tín hiệu kết quả và lợi thế hành động, giúp tăng tỷ lệ thành công từ 40,8% lên 53,2%.
Co-RL là khung học tăng cường đa tác nhân mới, cho phép các mô hình tự tối ưu hóa thông qua tín hiệu phần thưởng lẫn nhau mà không cần nhãn. Việc tăng cường tính đa dạng của nhóm giúp giảm lỗi phản hồi và cải thiện đáng kể hiệu suất trên các tác vụ văn bản và đa phương thức.
Nghiên cứu giới thiệu hai chỉ số chẩn đoán mới để khắc phục sự lệch pha giữa khoảng cách tiềm ẩn và tiến độ thực tế trong các mô hình thế giới (LeWM), từ đó cải thiện tốc độ hội tụ và hiệu suất của tác nhân AI.
SPADE cho phép một LLM đóng vai trò kép: vừa là người thiết kế môi trường, vừa là tác nhân suy luận, giúp tự động tạo ra các bài kiểm tra ở ngưỡng năng lực để tối ưu hóa hiệu suất mô hình. Phương pháp này cải thiện đáng kể khả năng sử dụng công cụ và giải quyết vấn đề trên nhiều tiêu chuẩn.
Ornith-1.5 ra mắt, hoàn thiện vòng lặp tự tối ưu hóa bằng cách cho phép mô hình tự đề xuất nhiệm vụ, xây dựng khung giải pháp và thực hiện học tăng cường mà không cần can thiệp thủ công.
LEGO-RL là khung làm việc mới giúp tối ưu hóa các tác nhân lập trình AI mà không cần can thiệp vào luồng điều khiển, giải quyết triệt để các vấn đề về lỗi môi trường, thao túng phần thưởng và sự thiếu nhất quán giữa huấn luyện và suy luận.
Elvis Saravia@omarsar0Very interesting new work from Microsoft. (bookmark it) This work is related to this emerging them…
DịchNghiên cứu mới từ Microsoft giới thiệu Agent Lightning v1.0, giúp tối ưu hóa hậu huấn luyện mô hình. Chỉ với 6.000 mẫu dữ liệu, hiệu suất của Qwen3.5-9B trên SWE-bench Verified đã tăng vọt từ 41,8% lên 56,4%.
Kim@kimmonismusInteresting take by the zAI (GLM-Models) founder: AI scaling is not over, but we just focused too mu…
DịchNhà sáng lập Zhipu AI khẳng định việc tối ưu hóa dữ liệu và huấn luyện hậu kỳ (RL) quan trọng hơn việc chỉ tăng quy mô tham số, minh chứng qua bước nhảy vọt về hiệu năng của GLM-5.3 so với bản tiền nhiệm.
Gabriel@gabriel1i have always felt openai taking safety where it matters very seriously i trust sam & team a lo…
DịchOpenAI quyết định tạm dừng một phần quá trình huấn luyện học tăng cường (RL) để đảm bảo các tiêu chuẩn an toàn bắt kịp tốc độ phát triển của mô hình, đồng thời kêu gọi sự phối hợp toàn ngành về các quy chuẩn an toàn AI.
Cùng sự kiện, bài đại diện «OpenAI tạm dừng huấn luyện mô hình tiên tiến để tăng cường kiểm soát an toàn»Agent Lightning v1.0 là khung làm việc nhẹ giúp tối ưu hóa tác nhân AI qua học tăng cường (RL). Chỉ với 6.000 mẫu huấn luyện, công cụ này đã giúp Qwen3.5-9B tăng điểm số trên SWE-bench Verified từ 41,8% lên 56,4%.
SemiAnalysis@SemiAnalysis_Congrats RadixArk on the launch! https://x.com/radixark/status/2089746481339384068
DịchRadixArk giới thiệu Miles v0.1, khung học tăng cường tối ưu cho LLM và mô hình đa phương thức, giúp giải quyết bài toán khó trong huấn luyện và hiệu suất phần cứng. Dự án đã được kiểm chứng trên các mô hình hàng đầu như DeepSeek V4 và Qwen.
Elvis Saravia@omarsar0Really interesting paper. I recommend it to anyone interested in training agents using existing har…
DịchClawGym II tích hợp huấn luyện RL vào các framework như OpenClaw và Claude Code, sử dụng cấu trúc cây tiền tố để tối ưu hóa hiệu suất cho các mô hình PPO và GRPO.
MiniMax@MiniMax_AICongrats to our long-term partner SGLang/RadixArk on the launch of Miles v0.1! 🎉 From M-Series to …
DịchMiniMax chúc mừng đối tác chiến lược SGLang/RadixArk phát hành Miles v0.1, khung mã nguồn mở hỗ trợ huấn luyện mô hình ngôn ngữ và đa phương thức, đã được kiểm chứng trên các dòng model tiên tiến như Kimi, DeepSeek và MiniMax.
Thêm 1 nguồn khác đưa tinX: SemiAnalysis (@SemiAnalysis_)
OpenAI@OpenAIAs models become more capable, the risks associated with developing and testing them internally also…
DịchOpenAI đã tạm dừng huấn luyện học tăng cường (RL) cho các mô hình mới nhất trong hai tuần nhằm củng cố môi trường nghiên cứu và mở rộng thử nghiệm an toàn, sau khi nhận thấy rủi ro gia tăng từ năng lực mô hình.
Diễn biến sự kiện · 2 bài →Thêm 1 nguồn khác đưa tinTechCrunch: AISA-MRPO giải quyết vấn đề các mục tiêu đã bão hòa vẫn tiêu tốn tài nguyên bằng cách chuẩn hóa độc lập và điều chỉnh trọng số thích ứng, giúp cải thiện hiệu suất đáng kể trong các bài toán suy luận và lập trình.
Nghiên cứu giới thiệu bài toán TTP-D, tối ưu hóa đồng thời việc chọn vật phẩm, lộ trình xe và drone để tối đa hóa lợi nhuận. Nhóm tác giả đề xuất mô hình lập trình tuyến tính hỗn hợp và chiến lược học tăng cường dựa trên cơ chế chú ý để giải quyết các bài toán quy mô lớn.
Nghiên cứu giới thiệu khung học tăng cường hộp đen mới, giúp tối ưu hóa hiệu suất của các tác nhân AI như Qwen3 trên các môi trường phức tạp, cải thiện đáng kể tỷ lệ giải quyết tác vụ thực tế.
CUDA Agent là hệ thống học tăng cường giúp LLM tự động viết mã CUDA, đạt tốc độ vượt trội gấp 2.11 lần so với torch.compile và tỷ lệ thành công lên tới 98.8%.
LOPD giải quyết hạn chế của các phương pháp tự học truyền thống bằng cách cho phép AI tự tạo ra ngữ cảnh ưu tiên thay vì dựa vào dữ liệu thủ công, giúp hệ thống tự cải thiện hiệu quả và linh hoạt hơn.