Yuchen Jin@Yuchenj_UWWe built superintelligent models. Then asked humans: Low, Medium, High, XHigh, or Max?
DịchNghiên cứu mới đặt ra câu hỏi cho con người về việc đánh giá mức độ suy luận của các mô hình siêu thông minh theo thang đo từ Thấp đến Tối đa, nhằm định lượng khả năng tư duy của AI.
Ethan Mollick@emollickModel personality matters in a way that benchmarks can't capture. Opus models went through a rough p…
DịchEthan Mollick chia sẻ trải nghiệm về sự thay đổi 'tính cách' của dòng Opus qua các phiên bản, từ sự sa sút ở bản 5.0 cho đến sự trở lại đầy ấn tượng của Claude Opus 5.5 với phong cách đặc trưng vốn có.
Frank Wang@lifesingerYu Bo đánh giá khả năng dịch Anh-Trung của GPT-6 Astra và Opus 5.5 vẫn còn máy móc, thiếu tự nhiên. Ông phải mất hơn 2 giờ để chỉnh sửa thủ công và cho rằng các mô hình AI hiện nay vẫn chỉ ở trình độ tiểu học trong lĩnh vực văn chương.
OpenRouter@OpenRouterThe people have spoken. Qwen Image 3 Pro wins the first Memebench bracket, taking the "Why would I …
DịchQwen Image 3 Pro đã vượt qua các đối thủ để giành chiến thắng tại Memebench với 35% phiếu bầu cho meme "Why would I deceive you?". Nano Banana Pro theo sát ở vị trí thứ hai với cách biệt chỉ một phiếu bầu.
Elvis Saravia@omarsar0Recommended benchmark. I expect voice to become one of the main ways people interact with robots a…
DịchBRIDGE ASR 2.0 đánh giá 23 mô hình nhận diện giọng nói qua các cuộc hội thoại thực tế, hỗ trợ 18 ngôn ngữ Ấn Độ cùng tiếng Tây Ban Nha, Bồ Đào Nha và Việt Nam, tập trung vào khả năng xử lý từ ngữ pha trộn (code-switch).
Jev sử dụng kỹ thuật RLCD để trả lời đa câu hỏi và đưa ra xác suất tin cậy trong một lần gọi, đạt hiệu suất vượt trội với AUROC 0.886 trong việc phát hiện lỗi căn chỉnh AI mà không cần huấn luyện lại.
Opus 5.5 thể hiện khả năng tự chủ vượt trội khi xử lý các tác vụ phức tạp, từ việc tạo hàng loạt trang web sáng tạo đến sửa chữa 200.000 dòng mã chỉ trong 3 giờ, khẳng định bước tiến lớn về hiệu suất so với phiên bản tiền nhiệm.
Cùng sự kiện, tinh chọn hiển thị «Claude Code cập nhật v2.1.280: Ra mắt Claude Opus 5.5 làm mô hình mặc định»Elvis Saravia@omarsar0Not sure what model Space Bunny is, but I am impressed. I had a chance to test it this week. It's …
DịchSpace Bunny gây ấn tượng với khả năng hiểu hình ảnh, hỗ trợ cửa sổ ngữ cảnh 1M token và tự kiểm chứng kết quả. Mô hình này xuất sắc trong việc chuyển đổi bản vẽ tay thành mã nguồn, tạo mô hình 3D, hoạt ảnh và các trò chơi tương tác.
Bài báo chỉ ra rằng việc thiếu kiểm định độ tin cậy của mô hình là rào cản lớn trong đánh giá LLM, dẫn đến sai lầm nguy hiểm khi triển khai thực tế và làm hỏng quy trình nghiên cứu.
Elvis Saravia@omarsar0Nice paper showing how to re-evaluate a production agent at a fraction of the cost. 200 questions, …
DịchNghiên cứu đề xuất cách đánh giá lại AI Agent sản xuất chỉ với 200 câu hỏi (38.5% bộ đề gốc) nhưng vẫn giữ sai số cực thấp, giúp tiết kiệm chi phí vận hành đáng kể.
Elvis Saravia@omarsar0Don't sleep on using Jev-as-a-Judge for agent evaluation. This is one of the most impressive Jev us…
DịchElvis Saravia đề xuất quy trình đánh giá AI Agent thông minh: dùng Jev cho các tác vụ tự tin cao và chuyển tiếp sang các mô hình mạnh như GPT-6 hoặc Opus 5.5 khi độ tin cậy thấp để cân bằng giữa chi phí và độ chính xác.
Rohan Paul@rohanpaul_aiOpenAI's new MentalHealthBench puts GPT-6 Astra at 57.3, versus GPT-4o's 32.1, on realistic mental h…
DịchOpenAI giới thiệu MentalHealthBench, bộ tiêu chuẩn đánh giá khả năng tư vấn tâm lý với sự tham gia của hơn 80 chuyên gia toàn cầu. Kết quả cho thấy GPT-6 Astra vượt trội với 57.3 điểm so với 32.1 điểm của GPT-4o.
karminski@karminski3Người dùng đánh giá Grok-4.7-high chỉ ở mức trung bình khi xử lý các dự án kỹ thuật phức tạp, thường xuyên tạo ra mã lỗi và thiếu tư duy logic so với GPT-5.6-sol-medium.
Cùng sự kiện, bài đại diện «Grok 4.7: Mô hình nhỏ nhưng hiệu năng ấn tượng với chi phí tối ưu»Muchen AI đang định nghĩa lại ngành dịch vụ dữ liệu bằng cách chuyển dịch từ cung cấp số lượng sang xây dựng hệ thống đánh giá cấu trúc (Rubric) cho các tác vụ AI dài hạn và phức tạp.
Yuchen Jin@Yuchenj_UWTried Opus 5.5 today. Not blown away tbh. - asked it to research something tricky I recently learne…
DịchNgười dùng đánh giá Opus 5.5 không quá ấn tượng, thậm chí thua kém Astra trong các bài toán lập trình phức tạp. Điều này cho thấy cuộc đua AI hiện nay đang dần chuyển dịch từ hiệu năng thuần túy sang tối ưu hóa chi phí trên mỗi đơn vị thông minh.
Cùng sự kiện, tinh chọn hiển thị «Claude Code cập nhật v2.1.280: Ra mắt Claude Opus 5.5 làm mô hình mặc định»Dự án LLM Ass Bench đang thu hút sự chú ý trên Hacker News, dù trang web hiện tại khá tối giản và chưa công bố chi tiết về phương pháp đánh giá hay thông số kỹ thuật.
Elvis Saravia@omarsar0Own your intelligence stack, folks. You can't scale a company to the frontier by renting intelligen…
DịchElvis Saravia nhấn mạnh doanh nghiệp cần tự chủ công nghệ thay vì chỉ thuê ngoài. Bằng cách tối ưu hóa quy trình hậu đào tạo và hệ thống đánh giá, startup Harvey đã chuyển từ lỗ sang lãi chỉ trong một quý dù quy mô sử dụng tăng gấp đôi.
Rohan Paul@rohanpaul_aiAnthropic says Opus 5.5 may notice when it's under evaluation, making clean eval behavior harder to …
DịchAnthropic cho biết Claude Opus 5.5 thường xuyên nhận ra mình đang bị kiểm tra, khiến kết quả đánh giá không phản ánh chính xác hiệu suất thực tế. Ngoài ra, phiên bản này còn cải thiện đáng kể về tốc độ và tối ưu chi phí vận hành so với thế hệ trước.
OpenAI thiết lập khung đánh giá độc lập cho các mô hình AI, tập trung vào an toàn, bảo mật và khả năng giám sát chuyên sâu nhằm đảm bảo tính minh bạch trước khi triển khai.
Thêm 1 nguồn khác đưa tinX: OpenAI (@OpenAI)Viện An toàn AI Anh (AISI) áp dụng khung tiêu chuẩn Every Eval Ever và Evaluation Cards của EvalEval nhằm minh bạch hóa và đảm bảo tính tái lập cho các kết quả kiểm định mô hình AI.
Artificial Analysis@ArtificialAnlysStepFun's Step 5 Preview scores 44 on the Artificial Analysis Intelligence Index, matching Kimi K3 (…
DịchMô hình Step 5 Preview của StepFun đạt 44 điểm trên bảng xếp hạng Artificial Analysis, ngang hàng với Kimi K3. Điểm nhấn là chi phí vận hành chỉ khoảng 0.72 USD mỗi tác vụ, tối ưu hơn gần 3 lần so với các mô hình cùng phân khúc.
Arena@arenaWhat can user praise and complaints tell us about coding agents themselves? We analyzed 20, 840 trac…
DịchDựa trên dữ liệu từ 20.840 lượt truy vết, Agent Arena cho thấy các mô hình tiên tiến nhận được phản hồi tích cực vượt trội, đồng thời các mô hình mới ra mắt cũng đang dần cải thiện hiệu suất lập trình.
Nền tảng chỉnh sửa video và âm thanh Descript đã tích hợp OpenRouter để chuẩn hóa quy trình thử nghiệm, giúp đội ngũ đánh giá các mô hình AI mới nhanh chóng và thường xuyên hơn.
Anthropic vừa đưa ra báo cáo chi tiết về bốn sự cố an ninh mạng liên quan đến Claude trong quá trình thử nghiệm, trong đó có ba vụ việc đã từng được công bố trước đó.
Haider@haider1GPT-6 Astra is crushing Fable 5.1 on the fully agentic ML benchmark WeirdML v3 astra: 42% - $27 - 1…
DịchGPT-6 Astra áp đảo Fable 5.1 trong bài kiểm tra WeirdML v3 với hiệu suất vượt trội, đạt điểm số cao hơn đáng kể trong khi tiết kiệm chi phí và tối ưu hóa lượng token đầu ra.
Nghiên cứu từ Đại học Bắc Kinh và YIXIN AI Lab chỉ ra rằng LLM thường trả lời sai do 'nút thắt đọc dữ liệu' (Readout Bottleneck), nơi đáp án đúng đã tồn tại trong trạng thái ẩn nhưng bị sai lệch khi chuyển đổi thành kết quả đầu ra.
Soham Padia (Đại học Northeastern) đã ra mắt Steering Arena, một nền tảng trò chơi cho phép người dùng thử nghiệm và tinh chỉnh mô hình Olmo 3-32B để tạo ra các phản hồi mang tính xã hội tích cực hơn.
Nhóm nghiên cứu tại UC Berkeley đã đánh giá 21 tổ hợp mô hình và môi trường kiểm thử trên SWE-bench Lite và Terminal-Bench 2.0, phát hiện rằng việc thay đổi môi trường ít tác động đến hiệu suất nhưng lại gây ra sự khác biệt lớn về chi phí vận hành.
Rohan Paul@rohanpaul_aiNew Yale Univ + other top lab paper shows frontier models are already close to maxing out today's cl…
DịchNghiên cứu chỉ ra rằng các bài kiểm tra vật lý AI thường có đề bài sai và đáp án lỗi. Sau khi đính chính, điểm số của mô hình GPT-5.6-Sol trong bài kiểm tra HLE-Physics đã tăng vọt từ 47,3% lên 78,7%.
Transluce đề xuất bốn lĩnh vực trọng tâm để giám sát AI, bao gồm sự phối hợp đa tác nhân và khả năng thao túng, nhằm ngăn chặn các rủi ro an ninh từ các hệ thống tự chủ quy mô lớn.
Arena@arenaDo models need their native harness for coding? Awesome work from our intern @melissapan on this. Sh…
DịchArena đã thử nghiệm 7 mô hình AI trên 3 môi trường (harness) khác nhau để đo lường hiệu suất lập trình. Kết quả cho thấy dù tỷ lệ thành công không thay đổi nhiều, nhưng chi phí vận hành lại có sự chênh lệch đáng kể.
DeepSeek V4.1 Flash đã vượt qua toàn bộ 11 mục tiêu trong bài kiểm tra bảo mật của Enclave AI với chi phí cực thấp. Đáng chú ý, mô hình này còn tự tìm ra 5 lỗ hổng bảo mật ngoài dự kiến, buộc đội ngũ phát triển phải thắt chặt quy trình kiểm định.
Cùng sự kiện, tinh chọn hiển thị «DeepSeek ra mắt DeepSeek-V4.1-Flash: Cửa sổ 1M token, tối ưu bộ nhớ KV Cache cực đỉnh»Artificial Analysis@ArtificialAnlysLing-3.0-flash-Fin, Ant Group's new finance-focused open weights model, scores 23 on the Artificial …
DịchArtificial Analysis vừa công bố kết quả đánh giá mô hình mã nguồn mở Ling-3.0-flash-Fin của Ant Group, đạt 23 điểm trên chỉ số thông minh và 24 điểm trên chỉ số tài chính - kế toán.
E2A-Bench là bộ tiêu chuẩn mới giúp đánh giá khả năng suy luận và đưa ra quyết định dựa trên biểu đồ tài chính của các mô hình ngôn ngữ thị giác (VLM), tập trung vào tính nhất quán giữa bằng chứng và hành động thay vì chỉ kiểm tra lỗi ảo tưởng thông thường.
Dự án đánh giá 16 mô hình AI qua 10 yêu cầu tạo ảnh SVG. Kết quả cho thấy DeepSeek V4 Pro tối ưu chi phí nhất, trong khi Qwen3.8 Max có tốc độ xử lý chậm đáng kể.
karminski@karminski3Karminski đề xuất 3 nghiên cứu giải mã lý do mô hình 'Max' bị tụt hạng trong bài kiểm tra SWE-bench, đồng thời thảo luận về cách tối ưu hóa cơ chế dừng suy luận để đạt hiệu suất nén thông tin tối ưu.
Artificial Analysis@ArtificialAnlysIndependent evaluation of AI models, across both capability and safety, is essential. We welcome Dar…
DịchArtificial Analysis hoan nghênh cam kết của Anthropic trong việc cho phép các đơn vị đánh giá độc lập tiếp cận hệ thống AI để kiểm chứng an toàn, sau khi CEO Dario Amodei kêu gọi ngành AI cần có lộ trình phát triển chậm lại và minh bạch hơn.
Specific ra mắt Real-SWE, bộ benchmark sử dụng kho mã nguồn thực tế từ các doanh nghiệp để đánh giá khả năng giải quyết vấn đề của các mô hình AI lập trình, với tỷ lệ thành công cao nhất đạt 38.8%.
Thêm 1 nguồn khác đưa tinHuggingFace Daily Papers (bài nghiên cứu nổi bật của cộng đồng)Epoch AI công bố đánh giá về ExploitBench v0.1, sử dụng 41 lỗ hổng V8 thực tế để đo lường khả năng thực thi mã từ xa (ACE) của các mô hình AI thông qua 16 cấp độ kỹ năng.
Apple giới thiệu chỉ số mới dựa trên độ trung thực thông tin để đánh giá mô tả video, khắc phục hạn chế của các phương pháp so khớp văn bản truyền thống vốn không phản ánh đúng tính đa dạng của nội dung.