Các nhà nghiên cứu từ KAIST và Naver AI Lab phát hiện rằng các bước suy luận của AI có thể được phân biệt thông qua trạng thái nội tại của mô hình. Kết quả này cho thấy AI không chỉ tạo văn bản ngẫu nhiên mà thực sự vận hành theo các quy trình tư duy logic cụ thể ở tầng trung gian.
Mechanist là dự án tiên phong cho phép AI tự đặt giả thuyết, thiết kế thí nghiệm và kiểm chứng để giải mã cách các mô hình ngôn ngữ lớn học tập và suy luận, thay vì phụ thuộc hoàn toàn vào con người.
Nghiên cứu chỉ ra rằng các mô hình ngôn ngữ lớn (LLM) ẩn chứa cấu trúc ký hiệu Tensor Product Representation. Bằng phương pháp DISCOVER, các tác giả đã thay thế biểu diễn vector của 7 mô hình (như Llama-3.1, Qwen3) bằng các phương trình ký hiệu mà vẫn giữ nguyên hành vi của mô hình.
Nghiên cứu sử dụng AstroPT, một mô hình transformer huấn luyện trên dữ liệu thiên hà, làm thước đo để hiểu cách các khái niệm hình thành trong LLM. Kết quả cho thấy AI học các đặc tính từ đơn giản đến phức tạp theo trình tự cố định, giúp làm rõ cơ chế nội tại của các mô hình ngôn ngữ lớn.
Mechanist là hệ thống tác nhân AI mới giúp tự động hóa việc khám phá cơ chế trí tuệ thông qua kho dữ liệu khổng lồ và các phương pháp phân tích chuyên sâu, vượt trội hơn các hệ thống AI hiện có trong việc đưa ra giả thuyết và kiểm chứng thực nghiệm.