Flash-dLLM là khung tăng tốc suy luận không cần huấn luyện cho các mô hình ngôn ngữ khuếch tán (dLLM), sử dụng cơ chế KV cache thông minh để tự động hóa quy trình dự đoán và kiểm chứng.
Nghiên cứu giới thiệu phương pháp kết hợp mô hình khuếch tán vào LLM để tạo nhiều token song song, giúp tăng tốc độ suy luận mà không làm giảm độ chính xác so với cách dự đoán tuần tự truyền thống.
DAIR.AI@dair_aiThis work introduces diffusion-augmented LLMs, a new class of models. They first suggest that specu…
DịchNghiên cứu mới giới thiệu Uno, mô hình kết hợp khuếch tán vào LLM tự hồi quy để dự đoán nhiều token cùng lúc mà không làm giảm độ chính xác, giúp tăng tốc độ tạo văn bản gấp 3 lần.
