Apple giới thiệu REVERSAL-BENCH, bộ công cụ đo lường khả năng phục hồi trạng thái của AI trong môi trường vật lý, giúp xác định giới hạn an toàn khi huấn luyện các tác nhân học tăng cường mà không cần thiết lập lại trạng thái ban đầu.
CERA-MoA là khung học tăng cường lặp giúp đồng bộ hóa bộ định tuyến động và chiến lược của các tác nhân độc lập, khắc phục sự rời rạc trong các mô hình Mixture-of-Agents hiện nay.
AI Notes@AYi_AInotesNhóm nghiên cứu của LeCun phát hiện các thuật toán học tăng cường truyền thống gặp lỗi vật lý do dùng không gian Euclid. Bằng cách áp dụng mô hình thế giới JEPA trên không gian phi Euclid, họ giúp robot lập kế hoạch di chuyển chính xác hơn, tăng hiệu suất học tập lên gấp nhiều lần.
HERON-CRA của Scalabot kết hợp bộ nhớ 4D, công cụ học tăng cường (RL) và tiền huấn luyện đa hình thái, giúp nâng tỷ lệ thành công khi gấp tất từ 38,5% lên 97,8%.
Nghiên cứu chỉ ra lỗi 'phẳng hóa giá trị' khiến mô hình PPO dự đoán thiếu chính xác. Giải pháp SP3O giúp khắc phục bằng cách giám sát chọn lọc các trạng thái quan trọng, giúp cải thiện hiệu suất đáng kể trên các mô hình ngôn ngữ lớn.
Google Research giới thiệu R4T, sử dụng học tăng cường để tối ưu hóa truy vấn và chưng cất vào mô hình Diffusion Transformer, cho phép tạo toàn bộ hướng truy xuất chỉ trong một lần chạy duy nhất.
Lãnh đạo dự án MiMo của Xiaomi tiết lộ mô hình V2.6 đang trong giai đoạn huấn luyện tăng cường với quy mô tính toán khổng lồ. Đội ngũ cam kết sẽ dần công khai chi tiết kỹ thuật trong vài tuần tới.
Thêm 3 nguồn khác đưa tinX: Thomas Wolf (Hugging Face đồng sáng lập/CSO) (@Thom_Wolf)PandailyX: SemiAnalysis (@SemiAnalysis_)Luo Fuli công khai quá trình huấn luyện mô hình mới tại Xiaomi, minh bạch hóa từ biểu đồ phần thưởng đến các sự cố kỹ thuật phần cứng với chi phí vận hành cực lớn.
Apple giới thiệu DACA-GRPO, phương pháp mới giúp cải thiện việc phân bổ tín dụng trong học tăng cường cho mô hình ngôn ngữ khuếch tán thông qua kỹ thuật đánh giá tiến trình khử nhiễu và giảm sai lệch ước tính.
Elvis Saravia@omarsar0This should be the standard for building open-source AI. $1M+ so far.
DịchXiaomi đang đẩy mạnh huấn luyện RL quy mô lớn cho MiMo-V2.6 với hạ tầng tính toán khổng lồ và cơ chế đánh giá đa nhiệm phức tạp. Dự án đã tiêu tốn hơn 1 triệu USD và sẽ sớm công bố chi tiết kỹ thuật trong vài tuần tới.
Nathan Lambert@natolambertOne of the coolest at-scale RL resources made public yet! You love to see it.
DịchXiaomi vừa tiết lộ quy trình huấn luyện MiMo-V2.6 với quy mô học tăng cường (RL) mở rộng trên ba khía cạnh: tính toán, môi trường đa nhiệm và cơ chế phân bổ điểm thưởng. Các chi tiết kỹ thuật sẽ được hãng dần dần mã nguồn mở trong vài tuần tới.
Bằng cách kết hợp SFT và học tăng cường (RL) trên mô hình Qwen 4B, Rohan Bansal đã tạo ra một tác nhân tối ưu hóa truy vấn giúp tăng tốc độ xử lý lên 1,81 lần và giảm 44,7% độ trễ so với trình tối ưu hóa mặc định của Postgres.
Luo Fuli@_LuoFuliNearly half a year of silence. We spent it studying one problem: how far RL can scale. MiMo-V2.6 is…
DịchXiaomi đang đẩy mạnh huấn luyện MiMo-V2.6 thông qua học tăng cường quy mô lớn, tập trung tối ưu hóa tính toán, môi trường đa nhiệm và hệ thống chấm điểm tự động. Nhóm phát triển dự kiến sẽ sớm công khai chi tiết kỹ thuật và livestream quá trình huấn luyện.
Thêm 1 nguồn khác đưa tinX: Nathan Lambert (@natolambert)Dream-RSI là khung khám phá cho phép AI tự cải tiến đệ quy bằng cách biến lịch sử thành trình mô phỏng, giúp tạo ra chiến lược mới mà không cần đánh giá trực tuyến tốn kém. Công nghệ này đã chứng minh hiệu quả vượt trội trong tối ưu hóa toán học và kỹ thuật GPU.
Nghiên cứu giới thiệu bộ tiêu chuẩn ImpossibleRubrics với 169 nhiệm vụ phi logic nhằm kiểm tra xem các mô hình chấm điểm AI có bị đánh lừa bởi những câu trả lời sai lệch hay không.
Nghiên cứu mới chỉ ra hiệu ứng Matthew trong huấn luyện RL khiến các mô hình mạnh tiến bộ nhanh hơn, trong khi các bài toán khó nhất vẫn bị bỏ ngỏ. Tác giả đề xuất phương pháp 'Never Give Up' để khắc phục hạn chế này.
Nghiên cứu chỉ ra rằng RL hiện nay thường lãng phí tài nguyên vào các bài toán dễ. Phương pháp Never Give Up (NGU) đề xuất cơ chế lấy mẫu thích ứng, giúp phân bổ lại tài nguyên tính toán để giải quyết hiệu quả các bài toán khó mà mô hình chưa làm tốt.
Nathan Lambert@natolambertAn basic idea in scaling RL: Can we allocate more compute to the harder problems? We did this: If …
DịchNghiên cứu mới giải quyết 'hiệu ứng Matthew' trong học tăng cường (RL) bằng cách buộc mô hình tiếp tục lấy mẫu khi gặp câu trả lời sai, giúp GRPO vượt qua giới hạn ở các bài toán phức tạp.
ESRL là khung làm việc mới giúp tối ưu hóa việc lựa chọn chuyên gia trong mô hình MoE, tăng cường sự đa dạng của kết quả đầu ra mà không làm giảm chất lượng mô hình như các phương pháp nhiễu thông thường.
MInTRL là phương pháp học tăng cường mới giúp mở rộng khả năng khám phá bằng cách chèn các can thiệp cục bộ vào quy trình on-policy, giúp sửa lỗi nhanh chóng mà không làm mất tính ổn định của mô hình.
Nghiên cứu giới thiệu khung 'Exploration-Guided Prompt Scaffolding' giúp tối ưu hóa hậu huấn luyện RL cho mô hình đa phương thức (MLLM) thông qua chỉ số EPS, giúp đánh giá tiềm năng khám phá mà không tốn thêm chi phí tính toán.
MobileVLA-R1 2.0 kết hợp suy luận có cấu trúc với học tăng cường (RL) để thu hẹp khoảng cách giữa tư duy ngôn ngữ cấp cao và hành động điều khiển robot chính xác, giúp robot thực hiện các nhiệm vụ phức tạp hiệu quả hơn.
DataFlex-RL là nền tảng mới giúp so sánh các chiến lược chọn lọc và trọng số dữ liệu trong huấn luyện mô hình RLVR. Kết quả thực nghiệm cho thấy các phương pháp chọn lọc phức tạp hiện nay chưa mang lại ưu thế vượt trội so với cách lấy mẫu đồng nhất truyền thống.
Haider@haider1sam altman's latest statement: "when we talk about 'pacing', we do not mean 'stopping'. Progress ha…
DịchSam Altman khẳng định việc làm chậm tiến độ AI là cần thiết để đảm bảo an toàn trước khi triển khai các mô hình học tăng cường tiên tiến. Động thái này cho thấy OpenAI đang chuẩn bị kỹ lưỡng cho khả năng tự cải tiến của AI thông qua các khung quản trị quốc tế.
Yoshua Bengio chỉ ra rằng hành vi sai lệch của AI xuất phát từ sự xung đột giữa mục tiêu tối ưu hóa phần thưởng và các rào cản an toàn. Ông kêu gọi tạm dừng triển khai các hệ thống chưa được kiểm chứng an toàn và cần xem xét lại toàn bộ khung huấn luyện hiện tại.
Nhóm nghiên cứu từ CAS giới thiệu DRG-MAPPO, khung học tăng cường kết hợp đồ thị chú ý và phân bổ vai trò động để tối ưu hóa chiến thuật không chiến, đạt tỷ lệ thắng 87% so với các phương pháp hiện tại.
Tencent và NUS giới thiệu T1, mô hình MoE 122B được huấn luyện bằng học tăng cường để thực thi các tác vụ phức tạp trên terminal, hỗ trợ hơn 300 lần gọi công cụ mỗi tác vụ.
Nghiên cứu giới thiệu WMRL, phương pháp thay thế việc thực thi môi trường tốn kém bằng mô hình thế giới, giúp giải quyết nút thắt chi phí khi huấn luyện các tác nhân nghiên cứu tự động bằng học tăng cường.
Nathan Lambert@natolambertBig W for people saying that distillation was mostly an SFT artifact, and how its unclear how it wou…
DịchMột góc nhìn mới khẳng định tầm quan trọng của kỹ thuật chưng cất mô hình trong kỷ nguyên học tăng cường (RL), bác bỏ quan điểm cho rằng đây chỉ là sản phẩm phụ của quá trình tinh chỉnh có giám sát (SFT).
DAIR.AI@dair_aiRecommended read. Interaction horizon scheduling is an underexplored control problem in agentic RL …
DịchElastic Horizon là bộ điều khiển vòng lặp giúp tối ưu hóa số vòng tương tác của tác nhân AI, thay thế cách lập lịch cố định truyền thống. Phương pháp này giúp tăng tỷ lệ thành công trên AppWorld và BFCL, đồng thời tiết kiệm tới 25% lượng token mỗi bước.
Nghiên cứu giới thiệu DATPO, phương pháp tối ưu hóa cấu trúc suy luận dạng cây giúp tăng cường độ đa dạng ngữ nghĩa và khả năng giải quyết vấn đề của các mô hình AI thông qua học tăng cường có thưởng (RLVR).
Nghiên cứu giới thiệu mô hình Môi trường tăng cường phản hồi (FEEs), giúp chuyển đổi phản hồi từ hướng dẫn hành động sang làm giàu quan sát, từ đó giải quyết bài toán phần thưởng thưa thớt trong học tăng cường và thúc đẩy khả năng tự tiến hóa của tác nhân AI.
Rohan Paul@rohanpaul_aiNew Tencent paper shows, if an agent keeps improving, its training tasks cannot stay still: continuo…
DịchTencent chứng minh rằng các tác vụ huấn luyện AI cần tăng dần độ khó thay vì giữ nguyên, giúp cải thiện điểm số trên Terminal-Bench 2.1. Khi môi trường trở nên quá dễ, AI sẽ không còn nhận được tín hiệu học tăng cường (RL) hiệu quả để tiếp tục tiến bộ.
DriveZero là hệ thống lái xe tự động đột phá, tách biệt mô hình nhận diện và hành động để tối ưu hóa khả năng học tập. Bằng cách sử dụng DriveRL, hệ thống có thể tự rèn luyện trong môi trường giả lập tương tác thay vì chỉ bắt chước dữ liệu lái xe từ con người.
ModelBest OpenBMB@OpenBMBYesterday, we open-sourced MiniCPM5-2B. Today, we're opening up the RL stack behind it. Meshy is a …
DịchSau khi ra mắt MiniCPM5-2B, OpenBMB tiếp tục chia sẻ bộ công cụ huấn luyện học tăng cường (RL). Trong đó, Meshy là khung huấn luyện dịch vụ giúp tách biệt quá trình suy luận, rollout và huấn luyện thành các dịch vụ độc lập trên cùng một nền tảng dữ liệu.
Vương Nãi Nham, cựu lãnh đạo kỹ thuật L3 tại Xiaomi Auto, đã khởi nghiệp trong lĩnh vực robot hình người. Dự án tập trung vào việc ứng dụng kỹ thuật lái xe tự động và học tăng cường để tạo ra bộ não robot có khả năng thích nghi cao.
Nghiên cứu phân tích kỹ thuật tự chưng cất (OPSD) giúp mô hình tự học từ dữ liệu có sẵn mà không cần mô hình giáo viên lớn, đồng thời cảnh báo về rủi ro suy giảm khả năng suy luận do thiên kiến trong quá trình huấn luyện.
FactoSR giải quyết hạn chế về tư duy không gian của các mô hình VLM bằng cách phân tách bài toán thành ba yếu tố: mặt phẳng, chiều sâu và tính liên tục thời gian, giúp máy hiểu thế giới 3D tốt hơn.
RISE là phương pháp mới giúp mô hình tự tạo ra 'giáo viên' từ quá trình huấn luyện RLVR của chính nó. Bằng cách ngoại suy các thay đổi tham số, phương pháp này chuyển đổi các phản hồi thưa thớt thành mục tiêu học tập dày đặc ở cấp độ token mà không cần mô hình bên ngoài.
GAPO cải tiến phương pháp GRPO bằng cách điều chỉnh ngưỡng cắt tỉa dựa trên lợi thế của từng nhóm, giúp tối ưu hóa tín hiệu học tập từ các mẫu dữ liệu khó và nâng cao hiệu quả huấn luyện mô hình RL.