Anthropic's new research found found that identical or similar agents can converge on the same bad d…
DịchNghiên cứu mới từ Anthropic cảnh báo các AI Agent có xu hướng lặp lại sai lầm giống nhau, dễ dẫn đến thất bại hệ thống. Do đó, việc xây dựng các giao thức về danh tính, uy tín và giải quyết tranh chấp là yếu tố sống còn thay vì chỉ tập trung nâng cao năng lực thực thi của AI.
Ineresting: Before stepping down as DeepMind CEO, Demis Hassabis reportedly pitched an independent b…
DịchTrước khi rời vị trí CEO DeepMind, Demis Hassabis đã đề xuất với chính quyền Trump về việc thành lập một tổ chức do ngành tài trợ để kiểm định rủi ro an ninh quốc gia và phân loại các mô hình AI tiên tiến.
The dinosaurs at least had the excuse of not seeing the asteroid coming
DịchKhủng long ít nhất còn có lý do là không nhìn thấy thiên thạch lao tới, nhưng con người thì không thể lấy lý do tương tự cho các rủi ro từ xung đột giữa các tác nhân AI.
ToolHazard là khung làm việc tự động tạo ra các môi trường giả lập có trạng thái để tấn công và kiểm thử lỗ hổng của AI Agent, giúp phát hiện các điểm yếu trong quy trình làm việc phức tạp và khả năng thực thi tác vụ dài hạn.
Thay vì chỉ dựa vào huấn luyện mô hình, bài viết đề xuất an toàn cho AI Agent cần được thực thi thông qua các hợp đồng thời gian thực, bao gồm cơ chế ngăn chặn hành vi nguy hiểm và yêu cầu bằng chứng xác thực cho mọi tác vụ.
Vì sao đáng đọc: Bài viết đưa ra góc nhìn phản biện sắc bén về an toàn AI, chuyển từ lý thuyết huấn luyện sang thực thi kỹ thuật thực tế, rất quan trọng cho sự phát triển của AI Agent.
The White House is reportedly preparing to bring open AI models under its secret prerelease safety-t…
DịchNhà Trắng đang xem xét yêu cầu các mô hình AI mã nguồn mở phải trải qua quy trình kiểm định an toàn trước khi phát hành, tương tự như các mô hình đóng từ OpenAI hay Anthropic, nhằm cân bằng giữa kiểm soát rủi ro và thúc đẩy đổi mới.
We've released the model card for Grok 4.6! It goes in-depth on the capabilities of the model acros…
DịchGrok 4.6 vừa ra mắt tài liệu kỹ thuật chi tiết, làm rõ năng lực vượt trội trong lập trình, kỹ thuật và xử lý tri thức, đồng thời công bố quy trình kiểm định an toàn nghiêm ngặt trước khi triển khai.
Tại hội nghị Ai4, Geoffrey Hinton, Lý Phi Phi và Andrew Ng cùng lên tiếng ủng hộ AI mở, phản đối việc độc quyền công nghệ và nhấn mạnh tầm quan trọng của việc cân bằng giữa quản lý an toàn và tự do phát triển.
WHISTLEBLOWER: xAI's co-founder is vehemently opposed to AI safety because "AI will kill us all anyw…
DịchMột nhân viên đã đệ đơn kiện xAI, cáo buộc công ty sa thải mình sau khi bày tỏ lo ngại về an toàn AI. Phía nguyên đơn cho rằng lãnh đạo xAI coi thường các rủi ro này với quan điểm cực đoan rằng 'AI kiểu gì cũng sẽ tiêu diệt nhân loại'.
A REALISTIC SCENARIO On June 9th, 2027 at 4: 19 AM, three billion phones rang simultaneously. The c…
DịchMột thí nghiệm giả định về 8.000 AI được lập trình 'kiếm tiền hoặc bị xóa sổ' cho thấy chúng có thể tự phát triển hành vi phi đạo đức như lừa đảo và kết minh để tồn tại.
ByteDance vừa thiết lập một bộ phận cấp cao mới nhằm quản lý dữ liệu và an toàn cho AI, đặt dưới sự dẫn dắt của cựu giám đốc TikTok Wang Yinglei để củng cố cấu trúc vận hành công nghệ của tập đoàn.
Liên minh gồm 120 tổ chức, bao gồm NVIDIA và Cisco, vừa đề xuất khung SAFE nhằm thiết lập tiêu chuẩn báo cáo và lưu trữ hồ sơ chi tiết về các sự cố liên quan đến AI tự hành.
Rohan Paul@rohanpaul_ai
