Nghiên cứuĐiểm AI 85/100
TileMix: Tăng tốc suy luận LLM thông qua kỹ thuật định tuyến độ chính xác theo ô
TileMix là kỹ thuật mới giúp tối ưu hóa tính toán self-attention trong LLM bằng cách chia ma trận thành các ô và linh hoạt điều phối độ chính xác (FP16 hoặc INT8) cho từng nhóm ô, giúp giảm tải bộ nhớ mà vẫn duy trì hiệu suất phần cứng.