Xu Can, cựu lãnh đạo mảng hậu huấn luyện của mô hình Hunyuan, đã chuyển sang đội ngũ WeLM tại WeChat. Động thái này cho thấy WeChat đang tăng tốc tích hợp các mô hình ngôn ngữ lớn và AI Agent vào hệ sinh thái của mình.
WeChat đang thử nghiệm trợ lý AI Xiaowei tích hợp sâu, sử dụng kiến trúc MoE với 617 tỷ tham số nhưng chỉ kích hoạt 23 tỷ mỗi token, đồng thời tiên phong kỹ thuật Hidden Decoding mới.
Tencent giới thiệu phương pháp Hidden Decoding giúp mở rộng mô hình WeLM lên 617 tỷ tham số mà không cần tăng kích thước cấu trúc Transformer cốt lõi, tối ưu hóa hiệu suất tính toán.
AI Notes@AYi_AInotesWeChat giới thiệu mô hình WeLM với 3B tham số kích hoạt, tập trung vào hiệu suất thực tế thay vì điểm số benchmark, nhằm tối ưu chi phí và độ trễ cho hệ sinh thái 1,4 tỷ người dùng.
Tencent giới thiệu WeLM, mô hình ngôn ngữ tối ưu hiệu suất với bản 80B đang vận hành trên trợ lý ảo 'Tiểu Vi' của WeChat, đồng thời phát triển bản 617B (MoE) cho các tác vụ phức tạp.