# Switch Distillation: Tối ưu hóa chưng cất tri thức trong giai đoạn huấn luyện trung gian

- Nguồn: HuggingFace Daily Papers (bài nghiên cứu nổi bật của cộng đồng)
- Thời gian phát hành: 2026-09-01 07:00 (giờ Việt Nam)
- Điểm AI: 43/100
- Link AIHOT.vn: https://aihot.vn/items/1bf7a66522be56ef
- Nguồn dữ liệu AI HOT: https://aihot.news/items/cmtkqaer50229roaly9dhek1r
- Link gốc: https://arxiv.org/abs/2609.01532

## Tóm tắt AI

Nghiên cứu đề xuất phương pháp Switch Distillation, sử dụng độ bất định của mô hình giáo viên để điều hướng quá trình chưng cất, giúp cải thiện khả năng suy luận mà không làm suy giảm khả năng ghi nhớ sự kiện trong giai đoạn huấn luyện trung gian.

## Thân bài

Tác giả: Jacqueline He, Howard Yen, Shuyue Stella Li, Margaret Li, Hanqing Zeng, Yinglong Xia, Benyu Zhang, Zhuokai Zhao, Qiang Zhang, Pang Wei Koh, Luke Zettlemoyer, Wen-tau Yih

Xem PDF HTML (thử nghiệm)

DOI do arXiv cấp thông qua DataCite (đang chờ đăng ký)

### Lịch sử gửi bài

Từ: Jacqueline He [xem email] [v1] Thứ Ba, ngày 1 tháng 9 năm 2026 17:00:30 UTC (960 KB)