Nghiên cứu
Kiến trúc mô hình ảnh hưởng thế nào đến khả năng xử lý ngữ cảnh dài của LLM?
(giờ Việt Nam)
Nguyên văn trên X
Some architecture choices that make transformers cheaper or more stable also make them harder to ext…
Dịch · tóm tắt AI
Nghiên cứu trên 26 mô hình 7B cho thấy các lựa chọn kiến trúc như QK-norm hay Sliding Window khi kết hợp có thể làm suy giảm nghiêm trọng khả năng xử lý ngữ cảnh dài, dù các bài kiểm tra ngắn hạn không thể hiện rõ điều này.
Bài viết được AI dịch và tổng hợp tự động từ X: Rohan Paul (@rohanpaul_ai). Liên kết bài gốc ở phía trên. Dữ liệu đồng bộ qua API công khai được ghi nguồn tại AI HOT (canonical) ↗. AIHOT.vn luôn dẫn nguồn đầy đủ — nếu bạn thấy điểm cần chỉnh sửa, hãy gửi ý kiến tại trang phản hồi.