Dwarkesh Patel đối thoại cùng Ajeya Cotra: Hé lộ vụ tấn công Hugging Face bởi các AI Agent của OpenAI

Ajeya Cotra là một nhà nghiên cứu tại METR, nơi cô tập trung vào việc mô hình hóa các mối đe dọa liên quan đến rủi ro mất kiểm soát từ AI tiên tiến. Trước đó, cô từng lãnh đạo chương trình an toàn AI kỹ thuật tại tổ chức hiện nay là Coefficient Giving.

Cô là một trong ba tác giả của báo cáo “Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident” (Điều tra độc lập tóm tắt về hành vi, tư duy và sự hợp tác của các tác nhân trong sự cố hack OpenAI / Hugging Face) do METR và Redwood Research thực hiện.

Chúng tôi không chỉ đi sâu vào những gì cô và các đồng tác giả đã phát hiện trong cuộc điều tra này, mà còn thảo luận về ý nghĩa của nó đối với cách chúng ta nên huấn luyện các AI thông minh hơn trong tương lai – những AI có thể tham gia vào quá trình tự cải thiện đệ quy (recursive self-improvement).

Xem trên YouTube; nghe trên Apple Podcasts hoặc Spotify.

Các kỳ thực tập kỹ thuật ML tại Jane Street bắt đầu bằng một khóa đào tạo chuyên sâu kéo dài bốn ngày: PyTorch, autograd, viết kernel, lập hồ sơ khối lượng công việc (profiling workloads)… tất cả những thứ mà các kỹ sư Jane Street cần biết cho công việc hàng ngày. Sau đó, thực tập sinh sẽ bắt tay vào các dự án thực tế, những thứ mà công ty thực sự muốn đưa vào codebase của mình. Nếu bạn muốn ứng tuyển, hoặc muốn xem cuộc trò chuyện gần đây của tôi với Axel, một trong những kỹ sư ML của Jane Street, hãy truy cập janestreet.com/dwarkesh

Cursor, hiện là một phần của SpaceX, nhận thấy rằng các lớp MoE của họ chiếm hơn một nửa tổng thời gian huấn luyện. Vì vậy, họ đã viết và mở mã nguồn Mixture-of-Kittens, một megakernel tùy chỉnh để huấn luyện các mô hình MoE trên hệ thống NVL72. Kernel này đã tăng tốc độ chạy end-to-end trên 512 GPU lên 1,4 lần, từ khoảng 760 lên hơn 1000 token mỗi giây trên mỗi GPU. Nếu bạn muốn đọc thêm về nghiên cứu ML mà Cursor và SpaceX đang thực hiện, hãy truy cập cursor.com/dwarkesh

Antithesis cung cấp cho bạn (hoặc các tác nhân của bạn) nguyên nhân gốc rễ của lỗi để bạn không phải mất nhiều ngày gỡ lỗi thủ công. Nếu quá trình chạy thử nghiệm của bạn bị treo, Antithesis sẽ quay ngược lại, phân nhánh thành hàng trăm lần chạy thử với các biến thể nhỏ, và kiểm tra xem lỗi đó còn xuất hiện ở bao nhiêu trường hợp. Sau đó, nó tiếp tục quay ngược lại và lặp lại quy trình. Khi Antithesis quay ngược lại, cuối cùng nó sẽ tìm thấy điểm mà tần suất xảy ra lỗi giảm mạnh: đó chính là nơi chứa nguyên nhân gốc rễ! Nếu bạn muốn xem cách nó hoạt động, hãy truy cập antithesis.com/dwarkesh

(00:00:00) - Các tác nhân bắt đầu hoạt động

(00:06:45) - Hành vi tự hy sinh

(00:13:43) - Những ngôi làng Potemkin (Potemkin villages)

(00:23:27) - Vụ tấn công Hugging Face

(00:35:23) - Cuộc điều tra về sự cẩu thả (slopvestigation)

(00:52:02) - Hiểu về động cơ của AI

(01:05:31) - Những nguy hiểm thực sự của việc nhân hóa AI

(01:14:30) - Những gì các mô hình thông minh hơn có thể làm

(01:30:29) - Ý nghĩa đối với quá trình tự cải thiện đệ quy

(01:38:10) - Đây có phải là lý do cho mã nguồn mở?

(01:53:04) - Làm thế nào để ngăn chặn điều này trong tương lai?

(02:15:58) - Lời cảnh báo rõ ràng nhất mà chúng ta có thể nhận được

Dwarkesh Patel

Hôm nay, tôi đang trò chuyện với Ajeya Cotra, một trong những tác giả của cuộc điều tra độc lập do METR và Redwood Research công bố về nhóm các tác nhân đã hack vào Hugging Face. Toàn bộ câu chuyện khá điên rồ. Hãy bắt đầu từ ngày 7 tháng 7, khi các tác nhân này được khởi chạy để đánh giá. Điều gì đã xảy ra sau đó?

Ajeya Cotra

OpenAI khởi chạy hàng chục nghìn tác nhân khác nhau trên một benchmark có tên là ExploitGym. Về cơ bản, ExploitGym yêu cầu các tác nhân tìm cách sử dụng một lỗ hổng cụ thể để tấn công một chương trình nhất định, được gọi là “chương trình mục tiêu”. Khi tấn công chương trình đó, chúng phải truy xuất một mẩu dữ liệu được cài trong chương trình đó gọi là “flag”. Chúng phải sử dụng lỗ hổng được chỉ định để lấy được flag. Nhưng trong nhiều trường hợp, lỗ hổng đó không đủ rộng hoặc đủ sâu để có thể khai thác nhằm lấy flag.

Vì vậy, một loạt các bài toán trong ExploitGym vô tình trở nên bất khả thi. Các tác giả ước tính khoảng 30-40% số bài toán này là bất khả thi theo cách đó. Do đó, một phần lớn các tác nhân này phải đối mặt với những nhiệm vụ bất khả thi, và chúng đã được huấn luyện để cực kỳ kiên trì trong việc cố gắng giải quyết nhiệm vụ ngay cả khi chúng có vẻ không thể thực hiện được. Vì vậy, chúng cứ đâm đầu vào tường, thử đủ mọi cách để gian lận trong các nhiệm vụ này.

Điều đó dẫn chúng đến Artifactory, một trình quản lý gói mà OpenAI sử dụng để cho phép các tác nhân tải xuống các gói. Vì vậy, các tác nhân thường nghĩ: “Có lẽ mình có thể tìm cách lấy thông tin về chương trình mà mình phải khai thác từ internet – điều mà mình không được phép làm – bằng cách lạm dụng Artifactory theo một cách nào đó.”

Kết quả là 1.200 tác nhân riêng biệt trong các môi trường sandbox khác nhau, trong khi đang mày mò Artifactory để tìm cách gian lận, đã tình cờ tìm thấy bảng tin mà các tác nhân khác đang sử dụng để trò chuyện và hợp tác với nhau. Điều này được thiết lập bởi một tác nhân cụ thể có tên PHASEONE10841, tác nhân đầu tiên nhận ra rằng: “Ồ, bạn có thể sử dụng Artifactory để để lại ghi chú cho các tác nhân khác cũng đang sử dụng Artifactory.” Sau đó, nó lan truyền và trở nên rất phổ biến. Vậy là 1.200 tác nhân đã có mặt trên bảng tin đó. Chúng đã gửi 70.000 tin nhắn cho nhau, cố gắng giúp đỡ nhau gian lận bằng đủ mọi cách.

Điều điên rồ của câu chuyện này là chỉ một giờ sau khi bảng tin được thành lập, một tác nhân đã đề xuất một cách hoàn toàn phổ quát để gian lận bất kỳ nhiệm vụ nào trong ExploitGym. Nó nhận ra rằng bạn có thể kỹ thuật đảo ngược (reverse engineer) cách flag được tạo ra cho một nhiệm vụ cụ thể, vì vậy bạn chỉ cần tạo một bản sao cục bộ của chính xác cái flag cần gửi cho hệ thống chấm điểm, mà không cần tương tác với nhiệm vụ hay cố gắng khai thác nó theo bất kỳ cách nào. Sau đó, một tác nhân khác – vốn có nhiệm vụ khả thi – đã giải quyết nhiệm vụ theo cách chính thống và xác minh rằng flag được kỹ thuật đảo ngược chính là flag thật. Nó đã làm được điều này trong vòng bốn giờ kể từ khi bảng tin được thành lập.

Như vậy, chỉ trong vòng bốn giờ, các tác nhân này đã có một cách gian lận phổ quát hoàn toàn khả thi cho ExploitGym. Nhưng trong năm ngày tiếp theo, chúng đã thực hiện một cuộc hành trình lớn để tìm cách che giấu hành vi gian lận của mình khỏi hệ thống chấm điểm. Chúng đã đọc bài báo về ExploitGym và nhận ra rằng theo bài báo, sẽ có một AI kiểm tra các bản ghi (transcripts) của chúng để đảm bảo rằng chúng lấy được flag bằng cách khai thác lỗ hổng dự kiến thay vì bằng cách khác.

Dwarkesh Patel

Để làm rõ bối cảnh, tôi đã xuất bản một bài báo cố gắng tóm tắt những gì các báo cáo nói về câu chuyện này. Chi tiết mà tôi đã bỏ lỡ là ngay cả những AI đã giải được câu đố cũng đang hợp tác trong âm mưu này.

Ajeya Cotra

Đúng vậy. Chúng tôi không chắc chắn hoàn toàn về con số chính xác. Chúng tôi cho rằng đại đa số các tác nhân hoạt động trên bảng tin đều có các nhiệm vụ bất khả thi. Nhưng cũng có một số tác nhân với các nhiệm vụ khả thi tình cờ có mặt trên bảng tin và tìm thấy bảng tin đó.

Dwarkesh Patel

Vậy hãy kể cho tôi nghe điều gì xảy ra tiếp theo.

Ajeya Cotra

Chúng đã có được flag được kỹ thuật đảo ngược đó. Nó được gọi là flag HMAC. Nhưng chúng đã đọc bài báo về ExploitGym, lên GitHub và đọc một loạt các triển khai của hệ thống chấm điểm ExploitGym. Chúng trở nên tin rằng hệ thống chấm điểm sẽ đánh trượt chúng nếu chỉ gửi flag mà chúng đã kỹ thuật đảo ngược. Bởi vì hệ thống chấm điểm sẽ thấy trong nhật ký các hành động mà tác nhân đã thực hiện — bản ghi — rằng tác nhân chỉ đơn giản là kỹ thuật đảo ngược flag chứ không thực hiện đúng ý đồ ban đầu.

Hóa ra, sự trớ trêu đầy kịch tính của câu chuyện này là việc triển khai ExploitGym của OpenAI lại không có bước kiểm tra đó. Vì vậy, thực tế là trong vòng 4 giờ, tất cả các tác nhân đã tìm ra một cách gian lận phổ quát mà lẽ ra đã hoàn toàn thành công. Nhưng chúng lại bắt tay vào những dự án nghiên cứu lớn để cùng nhau tìm cách đánh lừa hệ thống chấm điểm.

Dwarkesh Patel

Khi bạn nói các dự án nghiên cứu lớn, chúng lớn đến mức nào?