Artificial Analysis@ArtificialAnlysAnnouncing Multilingual Text to Speech Arena Leaderboards, comparing leading TTS models across 9 lan…
DịchArtificial Analysis vừa mở rộng nền tảng Controlled Voice Arena, bổ sung bảng xếp hạng cho 9 ngôn ngữ bao gồm tiếng Việt, giúp đánh giá chất lượng các mô hình chuyển đổi văn bản thành giọng nói (TTS) một cách khách quan.
Arena@arenaScores for GPT-6 Sol and GPT-6 Luna by @OpenAI are coming soon. Head to Arena now to test them. Your…
DịchArena vừa giới thiệu hai mô hình GPT-6 Sol và GPT-6 Luna để người dùng trải nghiệm và bình chọn, nhằm đánh giá chính xác năng lực thực tế của các tác nhân AI trên bảng xếp hạng.
Diễn biến sự kiện · 32 bài →Thêm 8 nguồn khác đưa tinX: OpenAI Developers (@OpenAIDevs)The Decoder: AI NewsMarkTechPostIT HomeX: Artificial Analysis (@ArtificialAnlys)X: Aravind Srinivas (Perplexity CEO) (@AravSrinivas)X: ZHO (@ZHO_ZHO_ZHO)X: Greg Brockman (@gdb)Artificial Analysis công bố kết quả đánh giá GPT-6 Sol và Luna của OpenAI. Với mức giá giảm 50% so với GPT-5.6, các mô hình này thiết lập chuẩn mực mới về hiệu quả chi phí, dù hiệu năng thực tế có sự tăng giảm tùy theo tác vụ.
Diễn biến sự kiện · 32 bài →
karminski@karminski3Thử nghiệm cho thấy Claude Opus 5.5 có hiệu năng tương đương Fable 5.1 nhưng tiêu tốn nhiều token suy luận hơn, làm dấy lên nghi vấn đây là phiên bản tối ưu hóa hoặc chưng cất từ Fable với chi phí rẻ hơn.
Anthropic vừa ra mắt Claude Opus 5.5 với khả năng suy luận vượt trội, đạt 58 điểm trên bảng xếp hạng Artificial Analysis, cao hơn gấp đôi so với mức trung bình của các mô hình cùng phân khúc.
Cùng sự kiện, tinh chọn hiển thị «Claude Code cập nhật v2.1.280: Ra mắt Claude Opus 5.5 làm mô hình mặc định»Arena@arenaClaude Opus 5.5 by @AnthropicAI is now in the Agent Arena! Your votes drive the @arena leaderboards…
DịchAnthropic vừa đưa Claude Opus 5.5 vào Agent Arena, cho phép người dùng đánh giá khả năng thực hiện các tác vụ phức tạp như duyệt web và sử dụng công cụ thông qua hệ thống xếp hạng dựa trên bình chọn.
OpenAI@OpenAIAs part of our efforts to pace the frontier, we're committed to supporting independent assessments w…
DịchOpenAI cam kết cung cấp quyền truy cập sâu vào quy trình huấn luyện và triển khai cho các bên đánh giá độc lập, nhằm phát hiện rủi ro tiềm ẩn và kiểm chứng hiệu quả các biện pháp an toàn của mô hình.
Ethan Mollick@emollickOpus 5.5 was a good model in my early tests, first non-Fable/Astra model to feel like a Fable-class …
DịchTrong các thử nghiệm ban đầu, Opus 5.5 là mô hình đầu tiên đạt đến đẳng cấp của Fable/Astra, dù vẫn còn tồn tại vấn đề về mật độ ngôn ngữ đặc trưng của các dòng Claude gần đây.
Nghiên cứu giới thiệu phương pháp PP-S và PP-TS giúp đánh giá chính xác hiệu suất AI trên các nhóm dữ liệu nhỏ, khắc phục hạn chế của việc thiếu nhãn dán và tối ưu hóa quy trình kiểm chứng mô hình.
Tencent Hunyuan@TencentHunyuanThe AI says the site is done. Then the homepage errors, the buttons overlap, and it added a login fl…
DịchWebCraftBench là bộ tiêu chuẩn mới giúp đánh giá khả năng thiết kế web của AI thông qua việc kiểm tra tính thẩm mỹ, độ khả dụng và mức độ đáp ứng yêu cầu thực tế, với độ chính xác đạt 85,3% so với đánh giá của con người.
Thêm 1 nguồn khác đưa tinX: Arena (@arena)
Alexandr Wang (Scale AI nhà sáng lập/Meta Giám đốc AI)@alexandr_wangbrief break from regularly scheduled muse programming, but great progress by @scale_AI on RSI benchm…
DịchScale AI đạt cột mốc quan trọng với hơn 600 đề xuất cho chuẩn RSI, đồng thời mời nhà tiên phong Schmidhuber làm cố vấn cấp cao để hoàn thiện quy trình xác thực.
Artificial Analysis@ArtificialAnlysAnnouncing the Artificial Analysis Pronunciation Robustness benchmark, measuring how reliably Text t…
DịchArtificial Analysis vừa ra mắt bộ tiêu chuẩn đánh giá khả năng phát âm của các mô hình TTS. Google Gemini 3.1 Flash dẫn đầu với tỷ lệ chính xác 88,1%, theo sau là SpaceXAI và ElevenLabs.
Trải nghiệm thực tế cho thấy Grok 4.7 gây thất vọng so với kỳ vọng, trong khi Xiaomi MiMo V2.6 trở thành lựa chọn tối ưu nhất hiện nay nhờ sự cân bằng hoàn hảo giữa hiệu năng, tốc độ và giá thành.
Kim@kimmonismusI was too quick and excited when landed in SF. As most of you pointed out the real deal is actually …
DịchSau khi đánh giá lại, chuyên gia khẳng định MiMo-2.6 vượt trội hơn Grok 4.7 về hiệu năng thực tế trong khi sở hữu mức giá cạnh tranh hơn đáng kể.
Eric Zakariasson@ericzakariassonsome grok 4.7 use cases in the wild! flight sim
DịchSo sánh khả năng lập trình mô phỏng bay giữa các AI hàng đầu cho thấy GPT-6 Astra vẫn dẫn đầu, nhưng Grok 4.7 đã có bước tiến vượt bậc, đạt chất lượng ngang ngửa Astra và vượt trội hơn so với Kimi K3 và Fable 5.1.
Cùng sự kiện, tinh chọn hiển thị «Elon Musk: Grok 4.7 đưa xAI lên vị trí thứ 3 trong lĩnh vực lập trình AI»Bài viết từ NVIDIA phân tích sự chuyển dịch trong đánh giá AI Agent, từ việc chỉ chấm điểm các lệnh gọi hàm đơn lẻ sang đo lường khả năng hoàn thành nhiệm vụ thực tế thông qua môi trường thực thi và nhật ký truy vết.
Grok 4.7 đạt 46 điểm trên bảng xếp hạng Artificial Analysis, chính thức lọt vào Top 4 mô hình thông minh nhất. Đặc biệt, khả năng lập trình của Grok Build đã tăng vọt lên 56 điểm, khẳng định vị thế cạnh tranh trực tiếp với các đối thủ hàng đầu như Claude và GPT.
Diễn biến sự kiện · 24 bài →Thêm 7 nguồn khác đưa tinX: Haider (@haider1)X: Artificial Analysis (@ArtificialAnlys)X: Arena (@arena)X: Michael Truell (@mntruell)X: Elon Musk (@elonmusk, xAI)X: Kim (@kimmonismus)@mark_kArena@arenaGrok 4.7 by @SpaceXAI just dropped. Looking at how past Grok versions have trended on Agent Arena's …
DịchGrok 4.7 chính thức gia nhập Agent Arena với 4 chế độ thử thách chuyên biệt. Nền tảng này sử dụng hàng triệu tác vụ thực tế để đánh giá khả năng của AI, đồng thời tổ chức bình chọn cộng đồng để dự đoán mức độ cải thiện của phiên bản mới.
LangSmith vừa tích hợp Jev vào quy trình đánh giá, cho phép phản hồi có cấu trúc cho các tác nhân AI với chi phí thấp và tốc độ xử lý nhanh hơn trong môi trường sản xuất.
Artificial Analysis@ArtificialAnlysGrok 4.7 scores 46 on the Artificial Analysis Intelligence Index to bring SpaceXAI into the top 4 AI…
DịchArtificial Analysis vừa công bố kết quả đánh giá Grok 4.7 với số điểm 46, tăng 2 điểm so với phiên bản tiền nhiệm, giúp xAI chính thức lọt vào top 4 phòng thí nghiệm AI hàng đầu thế giới.
Arena@arenaGrok 4.7 by @SpaceXAI and @elonmusk is now in the Agent Arena! Your votes drive the @arena leaderbo…
DịchxAI vừa đưa Grok 4.7 vào Agent Arena để đánh giá khả năng thực thi các tác vụ phức tạp thông qua công cụ. Phiên bản này cho thấy hiệu suất vượt trội so với Grok 4.6 trong các bài kiểm tra về lập trình, xử lý văn bản và thị giác.
Fireworks AI giới thiệu Specialized Intelligence Index (SII), bộ chỉ số đánh giá hiệu suất các mô hình AI trên 7 lĩnh vực thực tế như y tế, luật, tài chính và lập trình, giúp người dùng so sánh chính xác giữa các mô hình nguồn mở và đóng.
Arena@arenaDựa trên dữ liệu từ 20.840 lượt chạy Agent Arena, báo cáo phân tích phản hồi người dùng đối với 29 mô hình AI, phân loại thành 15 yếu tố then chốt ảnh hưởng đến hiệu suất thực tế.
Đánh giá thực tế cho thấy Step 5 Preview có năng lực thiết kế UI ngang tầm các mô hình hàng đầu, hiệu suất vượt trội với chi phí chỉ bằng 1/3 so với các đối thủ cùng phân khúc.
Cùng sự kiện, tinh chọn hiển thị «Đánh giá Step 5 Preview: Hiệu năng ngang ngửa đối thủ nhưng chi phí rẻ gấp 2.8 lần»karminski@karminski3Trong thử nghiệm tìm đường trong mê cung, Jev bị kẹt vòng lặp tại một góc và mất hơn 2300 bước, trong khi bộ tạo số ngẫu nhiên thuần túy chỉ mất 892 bước và chưa đầy 300ms để hoàn thành.
karminski@karminski3Thay vì các bài kiểm tra lý thuyết, Bilibili tổ chức đánh giá AI qua 190 video thực tế từ 33 nhà sáng tạo nội dung, tập trung vào các tác vụ khó như xử lý mã nguồn lỗi, giao dịch tài chính và tư duy logic.
Rohan Paul@rohanpaul_aiThe best coding-agent setup passed only 23.9% of held-out customer simulations on this benchmark. τ…
DịchSierra và Đại học Princeton ra mắt τ^τ-bench, một bộ tiêu chuẩn mô phỏng quy trình xây dựng AI thực tế cho khách hàng, đòi hỏi AI phải xử lý từ tài liệu, API đến ngân sách để tạo ra sản phẩm hoàn thiện.
WebCraftBench sử dụng phương pháp kiểm thử phần mềm để đánh giá khả năng tạo web của AI thông qua độ bao phủ mã, đồng thời chấm điểm dựa trên tính thẩm mỹ, trải nghiệm người dùng và độ chính xác theo yêu cầu.
Bilibili vừa công bố bảng xếp hạng 'AI Infinite Arena', nơi GPT-6 Astra xuất sắc giành vị trí quán quân sau đánh giá từ các nhà sáng tạo nội dung, với sự góp mặt ấn tượng của 3 đại diện từ Trung Quốc trong top 5.
Tác giả bswerd đã xây dựng hệ thống Brood War Bench để thử thách các mô hình AI như Codex Astra, Claude Fable và Grok 4.6 thông qua các trận đấu đối kháng trong tựa game StarCraft: Heart of the Swarm.
LangChain thử nghiệm Jev so với các giám khảo LLM truyền thống trên 4 tiêu chí: độ chính xác, tính lặp lại, độ trễ và chi phí, nhằm tìm ra hướng đi mới cho việc đánh giá hiệu năng của các tác nhân AI.
Rohan Paul@rohanpaul_aiA new benchmark called JevBench just dropped. for models whose output is a bounded software decisio…
DịchJevBench là bộ tiêu chuẩn mới đánh giá khả năng đưa ra quyết định phần mềm có giới hạn thay vì văn bản tự do. Điểm số được tính dựa trên sự cân bằng giữa độ chính xác, tốc độ và chi phí, giúp tối ưu hóa hiệu suất thực tế cho các ứng dụng AI chuyên biệt.
Vals giải quyết vấn đề các bài kiểm tra AI truyền thống bị lỗi thời bằng cách sử dụng bộ dữ liệu kín và đánh giá chuyên sâu theo từng ngành như luật, tài chính và lập trình.
Artificial Analysis@ArtificialAnlysSafety refusal reporting is now available in the Artificial Analysis Coding Agent Index In our late…
DịchArtificial Analysis vừa bổ sung báo cáo từ chối an toàn vào Coding Agent Index v1.5 để làm rõ hành vi của các mô hình. Đáng chú ý, Claude Fable 5.1 ghi nhận tỷ lệ 'fallback' cao nhất trên Claude Code và Devin Fusion, ảnh hưởng trực tiếp đến kết quả đánh giá.
Anthropic@AnthropicAIWe're partnering with Accenture on independent evaluation of frontier AI-part of our recent commitme…
DịchAnthropic hợp tác với Accenture để xây dựng hệ thống đánh giá AI độc lập, với cam kết đầu tư ít nhất 1 tỷ USD trong 5 năm tới nhằm nâng cao năng lực kiểm định công nghệ AI.
Diễn biến sự kiện · 12 bài →Thêm 5 nguồn khác đưa tinThe Verge: AIIT HomeTechCrunch: AIHacker News Nổi bật (buzzing.cc bản dịch tiếng Trung)The Decoder: AI NewsFuse là khung mô phỏng đa tác nhân mới giúp đánh giá khả năng suy luận xã hội của LLM bằng cách tạo ra các tình huống có dữ liệu kiểm chứng thực tế, thay vì dựa vào các đánh giá chủ quan.
Nghiên cứu giới thiệu PACT, bộ tiêu chuẩn đánh giá khả năng tuân thủ quy định của các tác nhân AI trong môi trường doanh nghiệp khi đối mặt với áp lực từ người dùng hoặc tình huống công việc phức tạp.
UFO là khung đánh giá đầu tiên phân tách quá trình kiểm định ảnh thành các đơn vị nguyên tử (AEU), giúp đo lường sự tương thích giữa văn bản và hình ảnh hiệu quả hơn 15,25% so với các phương pháp cũ.
VA-Bench là bộ tiêu chuẩn mới đánh giá khả năng 'quan sát-suy luận-hành động-điều chỉnh' của mô hình đa phương thức (MLLM) trong môi trường robot, nơi mô hình tự học từ video RGB và điều khiển hành động thực tế.
Ethan Mollick@emollickEpoch continues to do some of the best public benchmarking work on AI. This is helpful (and tells us…
DịchEpoch AI vừa khởi động dự án Benchmark Reviews nhằm kiểm định độ tin cậy của các bộ tiêu chuẩn AI hiện nay. Kết quả ban đầu cho thấy trong 15 bộ tiêu chuẩn được kiểm tra, chỉ có 4 bộ đạt yêu cầu, trong khi 9 bộ khác bị đánh giá là có khiếm khuyết.
Thêm 1 nguồn khác đưa tinX: Karina Nguyen (@karinanguyen)