Nghiên cứu này giới thiệu phương pháp trích xuất chuỗi suy luận ẩn từ các mô hình đóng như GPT-6 Astra, chứng minh rằng các bước suy luận này cải thiện đáng kể hiệu suất trong toán học, khoa học và lập trình.
Vì sao đáng đọc: Nghiên cứu mang tính đột phá khi tìm ra cách 'đọc' tư duy của các mô hình đóng, cung cấp cái nhìn sâu sắc về cách AI thực sự suy luận thay vì chỉ đưa ra kết quả.
"extremely concerning" "GPT-6 Astra appears to be a massive jump in opaque reasoning ability: it ca…
DịchRyan Greenblatt cảnh báo GPT-6 Astra có khả năng giải toán khó mà không cần hiển thị suy luận, khiến phương pháp giám sát Chain-of-Thought truyền thống dần mất hiệu quả. Sự thay đổi kiến trúc này đặt ra thách thức lớn cho việc kiểm soát và đánh giá độ an toàn của các mô hình AI thế hệ mới.
I want to prevent a race into unmonitorability kicked off by confused reporting. The depth of the co…
DịchJakub Pachocki khẳng định độ sâu tính toán của các mô hình tiên tiến hiện nay không vượt quá gấp đôi GPT-4. Ông cũng cảnh báo về sự mong manh của kỹ thuật giám sát chuỗi suy luận (Chain-of-Thought) và nỗ lực của OpenAI trong việc củng cố phương pháp này.
Gary Marcus cảnh báo OpenAI đang phát triển công nghệ mới có thể khiến việc giám sát chuỗi suy luận (Chain-of-Thought) của AI trở nên bất khả thi, đe dọa nghiêm trọng đến an toàn hệ thống.
SHAPE là khung phân tích mới giúp hiểu sâu cách LLM giải toán thông qua không gian ngữ nghĩa và các chiến lược suy luận, từ đó dự đoán chính xác khả năng giải đúng của mô hình.
Nghiên cứu này so sánh phương pháp RL suy luận theo đoạn với kỹ thuật Mixed SFT đơn giản. Kết quả cho thấy Mixed SFT đạt hiệu suất cao hơn đáng kể trong các bài kiểm tra suy luận, đặt ra dấu hỏi về tính ưu việt thực sự của các phương pháp RL phức tạp hiện nay.
Nghiên cứu mới chỉ ra lỗ hổng kênh kề cho phép kẻ tấn công giải mã chuỗi tư duy (Chain-of-Thought) của các mô hình AI hàng đầu từ OpenAI, Google và Anthropic với chi phí thấp, đe dọa nghiêm trọng đến tính bảo mật của dữ liệu suy luận.
