iFlytek ra mắt mô hình AI chạy trên thiết bị Spark X2.5: Hỗ trợ cửa sổ ngữ cảnh 1 triệu token

Theo tin từ IT ngày 1 tháng 9, iFlytek vừa thông báo ra mắt và mã nguồn mở hai mô hình ngôn ngữ lớn (LLM) dành cho thiết bị đầu cuối là Spark X2.5-4B và Spark X2.5-1.7B.

Theo giới thiệu, cả hai mô hình đều hỗ trợ cửa sổ ngữ cảnh (context window) lên tới 1 triệu Token, trở thành sản phẩm duy nhất trong phân khúc mô hình thiết bị đầu cuối hiện nay hỗ trợ dung lượng ngữ cảnh lớn đến vậy.

Hai mô hình này sử dụng kiến trúc chú ý hỗn hợp (hybrid attention architecture), được tối ưu hóa xoay quanh các năng lực cốt lõi như tác nhân thông minh (agent), lập trình, toán học và tuân thủ chỉ dẫn. Quá trình huấn luyện được thực hiện hoàn toàn trên nền tảng điện toán nội địa, sử dụng khoảng 20 nghìn tỷ Token dữ liệu đa dạng để tiền huấn luyện.

Lấy ví dụ trong kịch bản hậu mãi sản phẩm, người dùng có thể nhập toàn bộ sổ tay hướng dẫn vào mô hình. Đối với các vấn đề phức tạp như "thiết bị gặp sự cố sau 10 ngày mua và đã sử dụng vật tư tiêu hao của bên thứ ba", mô hình có khả năng liên kết các quy định giữa các chương để đưa ra đánh giá tổng hợp, đồng thời duy trì ngữ cảnh trước đó để tiếp tục đưa ra gợi ý khi có thêm các điều kiện mới.

Trong kịch bản văn phòng cá nhân, Spark X2.5-4B có thể hoàn thành toàn bộ quy trình từ phân tích dữ liệu thô đến bàn giao báo cáo song ngữ. Trên tập dữ liệu kiểm thử nhà thông minh Domux, tỷ lệ thực thi chính xác các lệnh điều khiển đầu cuối của Spark X2.5-1.7B đạt 90,3%, với thời gian phản hồi trung bình là 0,85 giây. Mô hình cũng phù hợp cho các kịch bản như điều khiển vận hành robot, theo dõi mục tiêu, ra quyết định điều hướng và có thể triển khai trực tiếp trên thân robot hoặc các thiết bị biên (edge devices).

Spark X2.5-4B và 1.7B hỗ trợ các nền tảng phần cứng như NVIDIA, Huawei, Haiguang và Houmo, tương thích với các khung suy luận phổ biến như vLLM, SGLang, llama.cpp và có thể triển khai nhanh chóng thông qua các công cụ như Ollama, LM Studio. Kể từ hôm nay, trọng số mô hình đã được mở trên các nền tảng như Hugging Face, GitHub, đồng thời API tương ứng cũng đã có mặt trên nền tảng iFlytek Spark MaaS và được miễn phí trong thời gian giới hạn.

Vào ngày 7 tháng 9, iFlytek sẽ chính thức ra mắt mô hình ngôn ngữ lớn tổng quát Spark X2.5-293B, tiếp tục nâng cấp các năng lực cốt lõi như lập trình và tác nhân thông minh. IT sẽ gửi đến bạn đọc thông tin chi tiết vào thời điểm đó.

Tài liệu tham khảo:

Địa chỉ Hugging Face: https://huggingface.co/collections/XHToken/spark-x25

Địa chỉ Github: https://github.com/XHToken/Spark-X2.5

Truy cập nền tảng iFlytek Spark MaaS: https://maas.xfyun.cn/modelSquare