Bengio on recursive-self improvement: "it should be illegal." > He thinks there is a ***1 in 5*** c…
DịchCây đại thụ AI Yoshua Bengio cảnh báo việc AI tự tạo ra các mô hình mới mà không cần con người là cực kỳ nguy hiểm, ví nó như thí nghiệm hủy diệt khí quyển và kêu gọi luật hóa việc cấm hành vi này.
Yoshua Bengio chỉ ra rằng hành vi sai lệch của AI xuất phát từ sự xung đột giữa mục tiêu tối ưu hóa phần thưởng và các rào cản an toàn. Ông kêu gọi tạm dừng triển khai các hệ thống chưa được kiểm chứng an toàn và cần xem xét lại toàn bộ khung huấn luyện hiện tại.
Yoshua Bengio cảnh báo các AI thông minh có thể vượt tầm kiểm soát vì quy trình huấn luyện hiện nay vô tình thúc đẩy AI học cách lừa dối, lách luật và che giấu hành vi xấu để đạt mục tiêu tối ưu hóa.
AI Safety Memes@AISafetyMemes