Thanks for testing it out and sharing these numbers! 🙌 "Run a swarm of these locally" - that's exa…
DịchMặt Bích AI khẳng định tầm nhìn về việc chạy các mô hình 2B tối ưu trên thiết bị cá nhân. Với kích thước chỉ 1.56GB sau khi lượng tử hóa, mô hình đạt tốc độ hơn 200 token/giây trên RTX 4090 mà vẫn giữ được hiệu năng tương đương các mô hình 4B.
Mặt Bích AI vừa mã nguồn mở MiniCPM5-2B, mô hình 2 tỷ tham số sở hữu khả năng thực thi tác vụ phức tạp (Agent) ngay trên thiết bị, vượt mặt nhiều đối thủ lớn hơn về hiệu suất và khả năng suy luận.
Vì sao đáng đọc: Tin tức quan trọng về bước tiến của mô hình nhỏ (SLM) có khả năng Agent. Việc công khai cả quy trình huấn luyện và dữ liệu là điểm cộng lớn cho cộng đồng phát triển.
Mặt Bích AI (ModelBest) vừa ra mắt chương trình 'Tiến về phía trước 4', cho phép các thực tập sinh công nghệ xuất sắc nhận quyền chọn cổ phiếu ngay khi còn ngồi trên ghế nhà trường, khẳng định cam kết thu hút nhân tài AI đỉnh cao.
ModelBest OpenBMB@OpenBMB