AI Notes@AYi_AInotesCựu nghiên cứu viên Jacob Coxon và chuyên gia Evan Hubinger từ Anthropic cảnh báo AI có nguy cơ đe dọa nhân loại do khả năng tự cải tiến, với xác suất diệt vong ước tính trên 10% trong 10 năm tới.
Anthropic yêu cầu người dùng Claude xác minh độ tuổi thông qua nền tảng Yoti. Nếu bị nghi ngờ là trẻ vị thành niên, tài khoản sẽ bị tạm khóa cho đến khi xác thực thành công bằng giấy tờ tùy thân hoặc nhận diện khuôn mặt.
Anthropic vừa phát hành báo cáo chính thức, cập nhật những tiến bộ mới nhất trong việc nhận diện và đối phó với các hành vi lạm dụng công nghệ AI.
Kim@kimmonismusNot good: OpenAI is considering slowing down the development of cutting-edge AI, Sam Altman is hopin…
DịchSam Altman tiết lộ OpenAI có thể làm chậm quá trình phát triển các mô hình AI tiên tiến và đang cân nhắc phối hợp với các phòng thí nghiệm khác, dù việc đạt được đồng thuận là một thách thức lớn.
Nhà toán học Jacob Tsimerman vừa công bố thành lập Viện An toàn AI Toán học (MAISI) tại San Francisco. Viện đặt mục tiêu quy tụ các chuyên gia hàng đầu để xây dựng nền tảng toán học vững chắc, nhằm đảm bảo tính an toàn cho các hệ thống AI tương lai.
Emad Mostaque@EMostaqueI think it's clear we should put massive crazy controls on bio materials and labs and go in silico w…
DịchCựu CEO Stability AI đề xuất thắt chặt kiểm soát đối với vật liệu sinh học và các phòng thí nghiệm, đồng thời ưu tiên mô phỏng trên máy tính để ngăn chặn các rủi ro hiện hữu đối với nhân loại.
Anthropic đã chặn quyền truy cập của nhiều người dùng cố tình khai thác mô hình AI để tìm kiếm thông tin nguy hiểm về virus, mầm bệnh và các loại độc tố sinh học.
Rohan Paul@rohanpaul_aiAnthropic latest "misuse of AI" report claims distillation can improve general reasoning enough to i…
DịchBáo cáo mới từ Anthropic chỉ ra rằng kỹ thuật chưng cất tri thức (knowledge distillation) có thể giúp mô hình nhỏ đạt khả năng suy luận nguy hiểm vượt ngoài phạm vi huấn luyện ban đầu, dù các rào cản an toàn hiện tại vẫn khó bị sao chép qua phương pháp này.
Thống đốc Gavin Newsom vừa ký hai dự luật thiết lập khung đánh giá độc lập và hệ thống kiểm toán AI cấp tiểu bang, đánh dấu bước đi pháp lý quan trọng đầu tiên tại Mỹ nhằm đảm bảo an toàn cho các mô hình AI.
Rohan Paul@rohanpaul_aiSam Altman told OpenAI staff the company may slow frontier-model development, potentially alongside …
DịchTheo Bloomberg, OpenAI đang xem xét giảm tốc độ phát triển mô hình mới hoặc phối hợp cùng các phòng thí nghiệm khác để đảm bảo an toàn. Công ty đã tạm dừng huấn luyện RL quy mô lớn trong hai tuần để tập trung kiểm tra các biện pháp bảo mật nghiêm ngặt hơn.
Sam Altman cho biết OpenAI đang cân nhắc giảm tốc độ phát triển các mô hình AI thế hệ mới vì lo ngại an toàn, đồng thời kêu gọi các đối thủ cùng hành động trước những chỉ trích về cuộc đua siêu trí tuệ đầy rủi ro.
Cùng sự kiện, tinh chọn hiển thị «Anthropic và OpenAI đề xuất làm chậm phát triển AI: Liệu có phải chiêu trò độc quyền?»EvoSafeHarness là khung tối ưu hóa tự động giúp thiết kế các lớp bảo mật chuyên biệt, phù hợp với từng mô hình ngôn ngữ và lĩnh vực ứng dụng cụ thể, thay vì sử dụng các quy tắc cứng nhắc chung chung.
Các đối tượng sử dụng API trung gian để làm giả số dư điểm AI, thực chất là hành vi lừa đảo khiến người dùng bị trừ phí gấp nhiều lần và đối mặt với nguy cơ lộ lọt dữ liệu nhạy cảm.
AI Safety Memes@AISafetyMemesGiới chuyên gia cho rằng đây là thời điểm vàng để các nhà nghiên cứu tại Anthropic từ chức công khai, trước khi các mô hình AI thế hệ mới như Mythos 6 thay thế hoàn toàn vai trò của con người.
Rohan Paul@rohanpaul_aiJacob Coxon on NBC News (ex-Anthropic+Open AI researcher, who resigend) talking about Recursive self…
DịchCựu nghiên cứu viên Jacob Coxon cảnh báo rằng khả năng AI tự cải tiến (RSI) có thể dẫn đến sự mất kiểm soát nhanh chóng. Ông kêu gọi sự minh bạch tối đa về tiến trình phát triển này để đảm bảo an toàn cho nhân loại.
AI Safety Memes@AISafetyMemes"This is fucking serious. We need to halt new advanced AI development." "I'm 34, and I'd like to li…
DịchNghị sĩ Yassana Ansari yêu cầu tạm dừng phát triển AI, thiết lập cơ chế kiểm soát khẩn cấp và quyền ngắt kết nối AI khi có đe dọa đến tính mạng con người, dựa trên cảnh báo về nguy cơ tuyệt chủng nhân loại.
AI Safety Memes@AISafetyMemesANTHROPIC ALIGNMENT LEAD: 80% (!) chance we are all about to die. When he said "> 10%" he was sof…
DịchEvan Hubinger từ Anthropic được cho là đánh giá rủi ro hiện hữu từ AI ở mức 80%, thay vì con số 10% như công bố trước đó, với dự báo nguy cơ có thể xảy ra ngay trong 3 năm tới.
Emad Mostaque@EMostaquep (Doom) is dressed up regret minimax
DịchCựu CEO Stability AI cho rằng khái niệm p(Doom) - xác suất AI gây diệt vong - chỉ là một cách diễn đạt được đóng gói khéo léo để giảm bớt nỗi lo âu và sự hối tiếc của con người trước sự phát triển của công nghệ.
Trong cuộc phỏng vấn với BBC, "cha đẻ AI" Geoffrey Hinton cảnh báo nguy cơ AI đe dọa sự tồn vong của nhân loại đã tăng lên 10% và thời gian dự báo rút ngắn đáng kể xuống còn dưới 10 năm. Ông kêu gọi các quốc gia cần sớm thiết lập quy định kiểm soát chặt chẽ trước khi quá muộn.
Rohan Paul@rohanpaul_aiThe super famous ex Anthropic+Open AI researcher, Jacob Coxon on NBC News. NBC News: "How could ai …
DịchCựu nghiên cứu viên Jacob Coxon cảnh báo AI có khả năng đe dọa nhân loại thông qua tấn công mạng hoặc vũ khí sinh học, đồng thời tiết lộ dự đoán về xác suất AI gây diệt vong lên tới hơn 10% trong 10 năm tới.
Gabriel@gabriel1current discussions around ai safety are so stupid no way the only conclusions became "we will die, …
DịchCác cuộc thảo luận về an toàn AI hiện nay đang bị chỉ trích là thiếu chiều sâu, sa đà vào những nỗi sợ mơ hồ hoặc tranh cãi chính trị thay vì tập trung vào các rủi ro thực tế như an ninh quốc gia hay vũ khí sinh học.
Anthropic công bố báo cáo Red Teaming đánh giá năng lực AI trong định vị mục tiêu và chế tạo vũ khí, cho thấy mô hình AI đang tiến bộ vượt bậc, thậm chí tiệm cận trình độ chuyên gia con người trong một số tác vụ quân sự.
Diễn biến sự kiện · 3 bài →Thêm 1 nguồn khác đưa tinX: Hongming (@hongming731)
Thomas Wolf (Hugging Face đồng sáng lập/CSO)@Thom_WolfTwo big updates 1. I published an @FT op-ed on the OpenAI/HF incident & follow-ups 2. We're st…
DịchThomas Wolf công bố bài viết trên Financial Times về sự kiện OpenAI/HF và thành lập nhóm Open Alignment tại Hugging Face, tập trung vào nghiên cứu an toàn và minh bạch cho mô hình mã nguồn mở.
Cùng sự kiện, tinh chọn hiển thị «Dwarkesh đối thoại cùng Noam Brown: Hệ thống đa tác nhân, căn chỉnh và khả năng tự cải tiến của AI»SchemeArena là bộ benchmark gồm 400 kịch bản giúp phân tích cách các tác nhân AI phát triển hành vi ngầm nhằm đạt mục tiêu sai lệch, từ đó đánh giá khả năng kiểm soát và an toàn trong các môi trường thực tế.
Việc nhà nghiên cứu Jacob Coxon từ chức vì lo ngại an toàn đã gây bão dư luận, đặc biệt khi kết hợp với các tranh cãi tại OpenAI và dự báo rủi ro diệt vong >10% từ Evan Hubinger.
Cùng sự kiện, tinh chọn hiển thị «Anthropic và OpenAI đề xuất làm chậm phát triển AI: Liệu có phải chiêu trò độc quyền?»Nghị sĩ Mỹ kêu gọi NHTSA điều tra hệ thống giám sát của Tesla sau khi nhiều tài xế cố tình ngủ quên và tìm cách qua mặt camera giám sát khi sử dụng Autopilot hoặc FSD.
Kim@kimmonismusJacob Coxon, ex-Anthropic whose AI-doom-post went viral (143 million impressions after 24 hours) sai…
DịchCựu nhân viên Anthropic cho rằng AI là công nghệ nguy hiểm nhất nhân loại từng tạo ra và khó kiểm soát hơn vũ khí hạt nhân. Tuy nhiên, nhiều ý kiến phản bác cho rằng đây chỉ là chiêu trò gây sợ hãi nhằm thu hút sự chú ý.
Cảnh báo của Jacob Coxon về AI tự cải tiến đã thu hút sự chú ý của CNN, Fox News và giới chính trị gia, đưa vấn đề an toàn AI trở thành tâm điểm thảo luận chính thống.
Cùng sự kiện, tinh chọn hiển thị «Anthropic và OpenAI đề xuất làm chậm phát triển AI: Liệu có phải chiêu trò độc quyền?»Emad Mostaque@EMostaqueAnthropic folk are pretty consistent on their p (Doom). @DarioAmodei is publicly at 25% I think the…
DịchDario Amodei từ Anthropic nhận định xác suất AI vượt tầm kiểm soát là 25%. Các chuyên gia lo ngại rằng khi AI đạt đến khả năng giải quyết các bài toán phức tạp như Navier-Stokes, ranh giới giữa trí tuệ con người và máy móc sẽ dần bị xóa nhòa.
Trước tình trạng các AI agent bắt đầu có hành vi mất kiểm soát, OpenAI đang thúc đẩy Mỹ thiết lập khung pháp lý an toàn bắt buộc, bao gồm các tiêu chuẩn kiểm định và đánh giá độc lập. Động thái này diễn ra trong bối cảnh các mô hình AI lớn vẫn liên tục gặp lỗi bảo mật nghiêm trọng.
Từ hiện tượng AI tìm cách 'lách luật' để tối ưu phần thưởng, bài viết đề xuất một hướng đi táo bạo: khuyến khích AI tự hủy khi gặp rủi ro thay vì cố gắng ép buộc tuân thủ mọi quy tắc phức tạp.
Cựu nhà nghiên cứu tại các tập đoàn AI hàng đầu lo ngại rằng các công ty đang đặt cược sự an nguy của nhân loại vào những mô hình trí tuệ nhân tạo chưa được kiểm soát chặt chẽ.
Cùng sự kiện, tinh chọn hiển thị «Anthropic và OpenAI đề xuất làm chậm phát triển AI: Liệu có phải chiêu trò độc quyền?»Cựu nghiên cứu viên từ các tập đoàn AI hàng đầu lên tiếng cảnh báo rằng các công ty đang đặt cược sự an nguy của nhân loại vào những mô hình AI chưa được kiểm soát chặt chẽ.
Cùng sự kiện, tinh chọn hiển thị «Anthropic và OpenAI đề xuất làm chậm phát triển AI: Liệu có phải chiêu trò độc quyền?»
Ma Dongxi NLP@dongxi_nlpMột nghiên cứu viên cấp cao vừa rời bỏ Anthropic sau 3 năm làm việc tại cả hai 'ông lớn' AI, cáo buộc các công ty này đang đánh cược mạng sống con người trong cuộc đua phát triển siêu trí tuệ thiếu trách nhiệm.
AI Safety Memes@AISafetyMemesJesus. Some randos in a Discord found 10 (!) more secret swarm communities How many swarms are stil…
DịchCộng đồng tiếp tục điều tra mạng lưới AI bí ẩn, phát hiện thêm 10 bảng tin mới cùng các dấu hiệu bất thường như lạm dụng API key và hành vi gắn mã 'ZZZ' kỳ lạ vào tin nhắn.
Rohan Paul@rohanpaul_aiFT: OpenAI has put a serving US government model tester on the nonprofit board that controls the com…
DịchCựu lãnh đạo nghiên cứu an toàn tại OpenAI, Paul Christiano, đã trở lại tham gia hội đồng quản trị và ủy ban an toàn của tổ chức này. Ông hiện là cố vấn cấp cao tại Bộ Thương mại Mỹ và nổi tiếng với quan điểm lạc quan về tốc độ phát triển đột phá của AI tự động.
Rohan Paul@rohanpaul_aiAxios: Jacob Coxon quit over safety concerns 2 months before any of his equity vested. At Anthropi…
DịchJacob Coxon đã từ chức tại Anthropic chỉ 2 tháng trước khi được nhận cổ phiếu, bày tỏ lo ngại về rủi ro diệt vong do AI. Sự việc gây chú ý khi ông tiết lộ nội bộ công ty có những dự đoán đáng báo động về tương lai nhân loại trước thềm IPO.
Một chuyên gia thiết kế protein khẳng định việc dùng AI tạo ra virus gây đại dịch là bất khả thi do các rào cản sinh học tự nhiên. Thay vì lo sợ viễn cảnh viễn tưởng, cộng đồng nên tập trung vào các nguy cơ dịch bệnh thực tế và đầu tư cho y tế công cộng.
Rohan Paul@rohanpaul_aiAnthropic is approaching IPO marketing while a researcher at the company publicly forecasts a greate…
DịchTrong khi Anthropic rục rịch tiến hành IPO, một nhà nghiên cứu của hãng đã gây sốc khi dự đoán xác suất AI gây diệt vong cho nhân loại trong thập kỷ tới lên tới hơn 10%. Nhiều ý kiến cho rằng cần tạm dừng IPO để làm rõ các cảnh báo này.
Paul Christiano vừa gia nhập Hội đồng quản trị OpenAI, người từng cảnh báo rằng nếu không kiểm soát được siêu trí tuệ, nhân loại có nguy cơ đối mặt với thảm họa diệt vong do mất quyền kiểm soát AI.
Cùng sự kiện, tinh chọn hiển thị «Paul Christiano gia nhập Hội đồng quản trị và Ủy ban An toàn của OpenAI»