Nghiên cứuĐiểm AI 85/100
Dion3: Tối ưu hóa cập nhật trực giao toàn diện cho huấn luyện mô hình
Dion3 cải tiến thuật toán Muon bằng cách giảm chi phí tính toán và truyền tin thông qua thuật toán Gram Newton-Schulz mới và chiến lược megabatching, giúp tăng tốc huấn luyện mà vẫn giữ nguyên hiệu suất.