DAIR.AI@dair_aiMeta vừa công bố nghiên cứu đột phá về quy luật mở rộng mô hình ngôn ngữ cấp byte. Phương pháp End-Of-Token giúp mô hình đạt hiệu suất vượt trội, chỉ cần 1/6 dữ liệu huấn luyện để bắt kịp các mô hình token truyền thống.
Nathan Lambert@natolambertWould love to see scaling laws on the number of agents. Seems very important to a lot of discussions…
DịchNathan Lambert đề xuất nghiên cứu quy luật mở rộng (scaling laws) cho số lượng AI Agent, sau khi OpenAI chứng minh khả năng giải phương trình Navier-Stokes bằng 10.000 tác nhân phối hợp. Ông cho rằng việc mở rộng quy mô cụm Agent có thể quan trọng ngang bằng với khả năng suy luận của mô hình đơn lẻ.
Tang Jie@jietangcool comment: FLOPs were intelligence; parameters were knowledge!
DịchTang Jie dẫn chứng từ Switch Transformers để khẳng định rằng hiệu quả của mô hình phụ thuộc vào sự cân bằng giữa tính toán (FLOPs) và tham số, thay vì chỉ tập trung vào quy mô đơn thuần.