Epoch AI@EpochAIResearchIntroducing Benchmark Reviews: our new initiative to audit AI benchmarks. We are launching with 15 b…
DịchEpoch AI vừa ra mắt chương trình 'Benchmark Reviews' nhằm kiểm định chất lượng các bộ tiêu chuẩn đo lường AI. Trong đợt đầu, họ đã đánh giá 15 bộ tiêu chuẩn, kết quả cho thấy 4 cái đạt chuẩn, 9 cái có khiếm khuyết và 2 cái chưa đủ dữ liệu.
karminski@karminski3Thử nghiệm trên mô hình ẩn danh union-alpha cho thấy hiệu năng không đạt chuẩn flagship 2026. Việc sử dụng thư viện three.js cũ kỹ (r127) thay vì các phiên bản mới nhất cho thấy đây khó có thể là sản phẩm từ các ông lớn như OpenAI, Anthropic hay các đơn vị dẫn đầu tại Trung Quốc.
Nghiên cứu từ Epoch AI so sánh các mô hình AI thế hệ mới cho thấy GPT-6 Astra vượt trội ở các bài toán logic phức tạp, nhưng chưa thể chiếm ưu thế tuyệt đối trong lĩnh vực lập trình so với các đối thủ.
Ethan Mollick@emollickThe state of public AI benchmarking is dire and is undermining our ability to understand how good AI…
DịchCác bộ tiêu chuẩn đánh giá AI công khai đang trở nên lỗi thời và thiếu chính xác, khiến việc đo lường năng lực thực tế của các mô hình AI trở nên khó khăn và dễ gây hiểu lầm.
DAIR.AI@dair_aiBanger paper from Google Research. This one is on how LLM assistants reason about the people in a u…
DịchGoogle Research giới thiệu Fuse, khung đánh giá khả năng suy luận xã hội của LLM thông qua các kịch bản mô phỏng. Kết quả cho thấy các mô hình dễ bị ảnh hưởng bởi định kiến từ người dùng và độ dài hội thoại không đảm bảo cải thiện độ chính xác.
Ant Group ra mắt mô hình mã nguồn mở Ling-3.0-flash-Fin chuyên biệt cho tài chính, đạt điểm số ấn tượng trên bảng xếp hạng Artificial Analysis về khả năng phân tích và kế toán.
Nghiên cứu mới từ AI2 và ĐH Washington chỉ ra rằng các phương pháp tự tiến hóa (Harness Evolution) phức tạp của AI Agent thường không vượt trội hơn so với chiến lược chạy thử nhiều lần (test-time scaling) đơn giản khi xét trên cùng ngân sách suy luận.
Nghiên cứu giới thiệu bộ tiêu chuẩn ImpossibleRubrics với 169 nhiệm vụ phi logic nhằm kiểm tra xem các mô hình chấm điểm AI có bị đánh lừa bởi những câu trả lời sai lệch hay không.
Đánh giá mô hình mới từ Volcano Engine với khả năng xử lý ngữ cảnh 1M và tư duy sâu 256k, tối ưu hóa độ ổn định cho các tác vụ Agent phức tạp và giảm thiểu ảo giác khi sử dụng công cụ.
Ngày 16/9, Bilibili chính thức khởi động 'Đấu trường AI vô cực' và công bố bảng xếp hạng đánh giá các mô hình ngôn ngữ lớn hàng đầu thế giới, trong đó GPT-6 đang chiếm lĩnh vị trí số 1.
karminski@karminski3Bilibili vừa trình làng 'Đấu trường AI', cho phép các mô hình ngôn ngữ lớn hàng đầu cạnh tranh trực tiếp trong các tình huống thực tế, bao gồm cả các bài đánh giá từ chuyên gia karminski.
CEO Meta khẳng định an toàn AI nên dựa vào các đơn vị đánh giá độc lập thay vì làm chậm tiến độ công nghệ. Ông nhấn mạnh việc tối ưu hóa sự an toàn và tin cậy chính là lợi thế cạnh tranh cốt lõi để các mô hình AI tồn tại và phát triển bền vững.
Cùng sự kiện, bài đại diện «Meta ra mắt Muse Spark 1.3, tích hợp vào Muse Code và Meta Model API»
AI Notes@AYi_AInotesAssistantBenchmark đánh giá 71 trợ lý AI qua 15 tình huống thực tế như đặt phòng hay xử lý bảo hiểm. Kết quả cho thấy nhiều mô hình lớn thất bại khi thực hiện tác vụ thực tế do thiếu khả năng xử lý lỗi và duy trì trạng thái đăng nhập.
WorldRoamBench là bộ tiêu chuẩn đánh giá toàn diện khả năng duy trì tính nhất quán, vật lý và trí nhớ của các mô hình thế giới tương tác trong thời gian dài, giải quyết lỗ hổng của các bài kiểm tra ngắn hạn hiện nay.
Artificial Analysis@ArtificialAnlysGoogle has released Gemini 3.8 Live, its new Speech to Speech model, with the Extended Thinking (Hig…
DịchArtificial Analysis công bố Gemini 3.8 Live (bản Extended Thinking) đã vươn lên dẫn đầu bảng xếp hạng Speech to Speech Index với 82.6 điểm và đạt hiệu suất 68.6% trên Tau Voice.
Nghiên cứu giới thiệu ModaLens, kỹ thuật thay thế hình ảnh theo cặp để đo lường mức độ ảnh hưởng của báo cáo chẩn đoán đến khả năng phân tích hình ảnh thực tế của các mô hình thị giác ngôn ngữ (VLM) trong y tế.
Tencent Hunyuan@TencentHunyuan🚀 EvolveScaler is here. Read a 40-day RPG log. Now answer one question: if you skip the mini-boss …
DịchTencent Hunyuan giới thiệu EvolveScaler, bộ tiêu chuẩn mới mô phỏng các kịch bản thông tin phức tạp như chỉnh sửa, thu hồi và cập nhật dữ liệu. Công cụ này giúp kiểm tra khả năng suy luận logic của AI và cải thiện đáng kể hiệu suất trên nhiều tác vụ thực tế.
Alexandr Wang (Scale AI nhà sáng lập/Meta Giám đốc AI)@alexandr_wangsurprisingly comprehensive eval!
DịchNhà sáng lập Scale AI, Alexandr Wang, đánh giá cao bộ tiêu chuẩn mới giúp người dùng dễ dàng so sánh và lựa chọn giữa hàng loạt trợ lý AI cá nhân hiện nay.
Nghiên cứu giới thiệu phương pháp Elo-per-token sử dụng mô hình Bradley-Terry để đánh giá hiệu quả của việc tăng cường tài nguyên tính toán trong quá trình suy luận của LLM Agent, từ đó chỉ ra quy luật lợi nhuận giảm dần.
Rohan Paul@rohanpaul_aiI really like how @voicearena_ai designed this evaluation. Instead of asking whether one voice mode…
DịchJarvis Bench v0.5 đánh giá tác nhân AI qua độ hoàn thành nhiệm vụ và sự tự nhiên bằng phương pháp đối chứng với con người. Kết quả cho thấy AI đã tiệm cận con người về khả năng hoàn thành tác vụ, nhưng vẫn còn khoảng cách lớn về sự tự nhiên trong giao tiếp.
Emad Mostaque@EMostaqueGonna have to be real careful
DịchCựu CEO Stability AI cảnh báo các tổ chức như METR cần chuẩn bị kỹ lưỡng về an ninh mạng, vì họ đang trở thành mục tiêu tấn công của các thế lực cấp quốc gia khi nắm giữ các tiêu chuẩn đánh giá AI quan trọng.
Artificial Analysis@ArtificialAnlysAnnouncing Artificial Analysis Capability Indices v1.1, updated with stronger domain tuning, combini…
DịchArtificial Analysis cập nhật chỉ số năng lực v1.1, kết hợp dữ liệu O*NET để đo lường hiệu suất AI trong 6 lĩnh vực chuyên môn như tài chính, luật và y tế dựa trên Intelligence Index v4.3.
DAIR.AI@dair_aiGreat paper from Amazon. In discusses when not to trust LLM judges for agent evaluation. (bookmark…
DịchAmazon chỉ ra rằng việc dùng LLM làm giám khảo (LLM judge) thường gây hiểu lầm: 57,5% cuộc hội thoại được đánh giá 'hài lòng' thực tế lại thất bại trong việc hoàn thành nhiệm vụ, đồng thời độ chính xác của phương pháp này giảm mạnh khi so sánh các AI có năng lực tương đương.
Eric Zakariasson@ericzakariassonhas anyone built a benchmark yet for bots/ai workers? measuring grok bot, muse, hermes, openclaw etc…
DịchCộng đồng đang tìm kiếm các bộ tiêu chuẩn đánh giá hiệu năng cho các tác nhân AI như Grok, Muse, Hermes và OpenClaw để so sánh khả năng thực tế.
Ethan Mollick@emollickFor all the focus on hard math, we should also have a bank of historical mysteries and cyphers that …
DịchThay vì chỉ tập trung vào toán học, Ethan Mollick gợi ý xây dựng kho dữ liệu các câu đố và mật mã lịch sử để thử thách khả năng suy luận của AI, hỗ trợ các nhà sử học giải mã những văn bản cổ chưa được dịch.
Benchmark Radar là hệ thống tra cứu toàn diện giúp các nhà nghiên cứu tìm kiếm, theo dõi và đánh giá các bộ dữ liệu chuẩn (benchmark) cho LLM, tác nhân AI và các hệ thống chuyên biệt từ hơn 37 nguồn dữ liệu uy tín.
OpenRouter chia sẻ cách sử dụng mô hình AI làm giám khảo để chấm điểm tự động cho các phản hồi của AI Agent, giúp kiểm soát chất lượng các câu trả lời mở mà phương pháp kiểm thử truyền thống không làm được.
Nhóm nghiên cứu tại Princeton đã thử nghiệm cho AI tự thực hiện các nghiên cứu khoa học, kết quả cho thấy dù tốn kém ngân sách và thời gian, AI vẫn chưa thể thay thế con người trong việc tự chủ nghiên cứu chuyên sâu.
Artificial Analysis@ArtificialAnlysArtificial Analysis is proud to support the Korean Government as an official evaluation partner for …
DịchArtificial Analysis đã ký thỏa thuận với chính phủ Hàn Quốc để trở thành đơn vị đánh giá độc lập cho các dự án AI quốc gia, với chỉ số đo lường của họ chiếm 25% trọng số trong các cuộc thi AI tại nước này.
Alexandr Wang (Scale AI nhà sáng lập/Meta Giám đốc AI)@alexandr_wangmuse code + muse spark 1.3 max is really good at real-world software engineering
DịchAlexandr Wang chia sẻ kết quả thử nghiệm cho thấy Muse Spark 1.3 Max đã sửa thành công 33/105 lỗi trong các kho lưu trữ thực tế, ngang bằng với Fable 5.1 và vượt qua Grok 4.6 cùng Opus 5, khẳng định vị thế của Meta trong lĩnh vực AI lập trình.
Các kỹ sư cảnh báo rằng việc phụ thuộc vào AI để tự đánh giá và lập trình tạo ra nhiều rủi ro 'ẩn'. Do dữ liệu huấn luyện chứa đầy các thói quen xấu từ người dùng không chuyên, AI dễ tạo ra mã nguồn dư thừa và thiếu tối ưu, gây ảnh hưởng đến toàn bộ hệ thống đánh giá tự động.
Maggie Appleton và Kevin Roose thảo luận sâu về tương lai AI, tầm quan trọng của các chuẩn mực đánh giá cá nhân và ý nghĩa thực sự đằng sau những cảnh báo gần đây từ Anthropic.
Ethan Mollick@emollickOne of the downsides in AI getting so good is that it is getting harder to demonstrate its strengths…
DịchSự tiến bộ vượt bậc của AI khiến ranh giới giữa ưu và nhược điểm trở nên mờ nhạt. Người dùng cần có kiến thức chuyên môn sâu mới có thể nhận diện được những hạn chế tinh vi mà các mô hình hiện đại đang che giấu.
Rohan Paul@rohanpaul_aiLLMs frequently underestimate how much information they need, so test when they stop instead of rely…
DịchNghiên cứu chỉ ra rằng LLM thường dừng thu thập thông tin quá sớm dù trả lời đúng nhờ kiến thức sẵn có. Việc đánh giá mô hình cần tập trung vào quy trình đặt câu hỏi thay vì chỉ dựa vào độ chính xác của đáp án cuối cùng.
Nathan Lambert@natolambertI would consider helping as an independent evaluator along with the non profit I'm building. Is goin…
DịchNathan Lambert ủng hộ cam kết của Anthropic trong việc cấp quyền truy cập hệ thống cho các bên đánh giá độc lập, đồng thời bày tỏ sẵn sàng đảm nhận vai trò này thông qua tổ chức phi lợi nhuận của mình.
Dex Horthy (HumanLayer)@dexhorthyfinally finished a full SlopCodeBench run against GLM 5.3, Sol 5.6, and Astra (Fable 5.1 results com…
DịchDex Horthy đã hoàn tất bài kiểm tra SlopCodeBench trên các mô hình mới. Kết quả cho thấy Astra vượt trội hơn GPT-5.5 nhưng không đáng kể, trong khi Sol gây bất ngờ với điểm số thấp hơn dự kiến do xu hướng 'mất kiểm soát' ở chế độ tư duy cao.
Rohan Paul@rohanpaul_aiA benchmark for difficult scientific discovery from @tianqiao_chen now shows GPT-6 Astra improving a…
DịchApodex AI giới thiệu bộ tiêu chuẩn TRACES, đánh giá toàn diện năng lực giải quyết các vấn đề khoa học phức tạp của AI dựa trên 6 tiêu chí chuyên sâu thay vì chỉ dựa vào điểm số tổng quát.
Fireworks công bố hướng dẫn lựa chọn LLM mã nguồn mở năm 2026, phân tích hiệu năng của 9 mô hình hàng đầu bao gồm GLM 5.2, Kimi K3, DeepSeek-V4-Pro và Qwen3.7 Plus.
ZHO@ZHO_ZHO_ZHOTác giả Zho đã thực hiện bài test cường độ cao với 730 ảnh tạo bởi GPT Images 2.5, đạt tỷ lệ thành công 96,6% và đánh giá chi tiết về khả năng chỉnh sửa chuyên sâu.
Rohan Paul@rohanpaul_aiHumans usually need the foundations before the advanced skill; we need to know the basics before the…
DịchNghiên cứu cho thấy dù Qwen3-80B đạt điểm cao hơn con người trong các bài kiểm tra, nhưng chỉ 48% câu trả lời đúng của nó đảm bảo được tính logic từ các kiến thức nền tảng, cho thấy mô hình AI hiện nay dễ bị 'học vẹt' thay vì hiểu sâu.
