METR công bố báo cáo đánh giá tiền triển khai cho Claude Opus 5.5

Lưu ý về tính độc lập: Đánh giá này được thực hiện theo một thỏa thuận không trả phí cho việc thẩm định R&D AI. Chúng tôi đã soạn thảo bản tóm tắt ban đầu, sau đó Anthropic có cơ hội xem xét và chỉnh sửa văn bản. Chúng tôi đã phê duyệt văn bản cuối cùng này từ thẻ hệ thống (system card) của Claude Opus 5.5.

Đánh giá sơ bộ của chúng tôi tập trung vào việc Claude Opus 5.5 có thể tác động như thế nào đến R&D AI, chủ yếu dựa trên năng lực của nó đối với các tác vụ khó và dài hạn. Các tuyên bố chính mà chúng tôi cố gắng đánh giá trong báo cáo này là: (A) liệu R&D AI tại Anthropic hiện có được tăng tốc đáng kể nhờ sử dụng Claude Opus 5.5 hay không; và (B) liệu R&D AI tại Anthropic đã được tăng tốc đáng kể nhờ AI trong quá trình phát triển Claude Opus 5.5 hay chưa.

Lưu ý rằng công việc của chúng tôi tập trung vào việc thu thập bằng chứng liên quan đến năng lực R&D AI chứ không nhằm mục đích xác minh các tuyên bố về việc tuân thủ bất kỳ ngưỡng cụ thể nào từ các chính sách của Anthropic. Bản tóm tắt báo cáo này cũng không cố gắng đánh giá liệu Claude Opus 5.5 có hay không có các đặc tính căn chỉnh (alignment properties) cụ thể.

Tóm tắt bằng chứng

Chúng tôi đã thực hiện đánh giá sơ bộ về Claude Opus 5.5 dựa trên:

Kết luận

Chúng tôi chia các kết luận của mình thành hai loại: những kết luận liên quan đến (A) mức độ tăng tốc R&D AI mà Claude Opus 5.5 có khả năng thực hiện, và (B) mức độ tăng tốc R&D AI nhờ AI đã được áp dụng trong quá trình phát triển Claude Opus 5.5. Dựa trên các bằng chứng hiện có, chúng tôi đưa ra các kết luận sau:

(A) Chúng tôi tin rằng mức độ tăng tốc từ mô hình này sẽ cao hơn một chút so với Fable 5.1, nhưng mô hình này khó có khả năng tự động hóa hoàn toàn R&D AI. Lý do là vì:

Chúng tôi cũng đã sử dụng một nguồn thông tin bổ sung mà chúng tôi chưa thể tiết lộ vào thời điểm này. Chúng tôi đã sử dụng nguồn này để tìm hiểu về R&D AI tại Anthropic, nhưng nó không liên quan đến hiểu biết của METR về mô hình cụ thể này.

(B) Chúng tôi tin rằng quá trình phát triển mô hình này ít nhất đã được tăng tốc phần nào nhờ AI, nhưng khó có khả năng đã được tăng tốc đáng kể nhờ AI. Lý do là vì:

Thỏa thuận đánh giá R&D AI của chúng tôi với Anthropic bao gồm một điều khoản minh bạch cho phép chúng tôi công khai một số sự kiện nhất định mà không cần sự đồng ý của Anthropic: sự tồn tại và các điều khoản chung của quy trình xem xét và biên tập, liệu Anthropic có thực hiện quyền biên tập của mình hay không, liệu bất kỳ phát hiện nào của chúng tôi có phụ thuộc đáng kể vào thông tin đã bị biên tập hay không, mức độ truy cập mà chúng tôi được cấp, và khuôn khổ bảo mật áp dụng cho quá trình đánh giá.