Clément Delangue (Hugging Face CEO)@ClementDelangueTraining models is becoming easier and easier - just look at this and TRL - especially with agents! …
DịchHalo là khung hậu huấn luyện mã nguồn mở mới, cho phép tăng tốc độ xử lý gấp 2,8 lần so với TRL truyền thống mà vẫn tiết kiệm bộ nhớ và giữ nguyên định dạng Hugging Face.
Bài viết phân tích chiến lược sử dụng token, giúp bạn phân biệt rõ khi nào việc tiêu tốn tài nguyên cho các thử nghiệm AI là xứng đáng và khi nào cần tối ưu hóa để tránh lãng phí.
Haider@haider1GPT-6 Astra (high) for planning. Astra (medium) for orchestration. fast/cheap models like glm 5.3 …
DịchTối ưu hóa chi phí và hiệu năng bằng cách phân tầng: dùng GPT-6 Astra cho lập kế hoạch, các bản medium cho điều phối và các mô hình flash giá rẻ cho thực thi tác vụ.
Hugging Face ra mắt AsyncGRPOTrainer giúp tách biệt quá trình huấn luyện LoRA và suy luận vLLM trên các máy chủ khác nhau mà không cần NCCL, giúp tăng tốc độ huấn luyện lên 3.9 lần.
Tencent WorkBuddy@WorkBuddy_AIYou asked, and we iterated. The upgraded hy4 preview is now live in WorkBuddy-fewer unnecessary tur…
DịchWorkBuddy vừa cập nhật phiên bản hy4 preview, giúp giảm số vòng tương tác và lượng token tiêu thụ trong các tác vụ phức tạp mà vẫn đảm bảo chất lượng phản hồi. Bản cập nhật này hiện đã khả dụng cho tất cả người dùng.
Tibo@thsottiauxTo calibrate you all on which reasoning effort to use for Astra, know that GPT-6 Astra on low perfor…
DịchChuyên gia Tibo khuyến nghị người dùng nên hạ mức suy luận khi chuyển sang GPT-6 Astra, vì hiệu năng ở mức thấp (low) đã vượt qua GPT-5.6 Sol ở mức cao (high), giúp tiết kiệm tài nguyên mà vẫn đảm bảo chất lượng.
Khám phá quy trình xử lý phức tạp của LLM từ lúc nhận lệnh đến khi phản hồi, bao gồm cách tái tạo lịch sử hội thoại và tầm quan trọng của kỹ thuật ngữ cảnh trong việc tối ưu chi phí và chất lượng câu trả lời.
Khi các mô hình AI đã quá mạnh mẽ, doanh nghiệp nên tối ưu hóa bằng cách sử dụng các mô hình nhỏ gọn, tiết kiệm chi phí hơn để giải quyết các tác vụ thông thường thay vì lạm dụng sức mạnh dư thừa.