Rohan Paul@rohanpaul_aiI think "time horizon" is becoming one of the more useful ways to talk about agent capability. At O…
DịchRohan Paul cho rằng thời gian thực thi là chỉ số quan trọng để đo lường AI Agent. Dữ liệu từ OpenAI cho thấy tỷ lệ thành công giảm mạnh từ 86% (nhiệm vụ 15 phút) xuống còn 16% khi kéo dài lên 64-128 giờ.
ZHO@ZHO_ZHO_ZHOBài kiểm tra chuyên sâu kéo dài 13 giờ với 5 nhiệm vụ kiến trúc phức tạp cho thấy GPT-6 Astra đạt 60/100 điểm, tiêu tốn 210 triệu token để hoàn thành.
Artificial Analysis@ArtificialAnlysArtificial Analysis vừa ra mắt Intelligence Index v4.2, phiên bản cải tiến tập trung tối ưu hóa khả năng xử lý các tác vụ dài hạn, đặt nền móng quan trọng cho lộ trình phát triển v5 sắp tới.
Bài viết phân tích sâu về khả năng thực tế của hai mô hình mới nhất từ Anthropic trong bối cảnh ra mắt đầy bất ngờ và khó hiểu.
Artificial Analysis vừa ra mắt Intelligence Index v4.2 nhằm điều chỉnh lại các tiêu chuẩn đánh giá, sau khi điểm số của GPT-6 Astra gây ra nhiều tranh cãi so với các kết quả từ Epoch AI và ARC-AGI-3.
ZHO@ZHO_ZHO_ZHOZho đã thực hiện bài kiểm tra khắc nghiệt kéo dài 12 giờ trên GPT-6 Astra với dữ liệu đầu vào là ảnh kiến trúc. Kết quả đạt 60/100 điểm sau khi tiêu tốn tới 210 triệu token.
Francois Chollet@fcholletPour nos lecteurs francophones
DịchFrançois Chollet giới thiệu bài viết từ Le Point về việc mô hình mới của OpenAI đạt điểm gần tuyệt đối trong bài kiểm tra ARC-AGI-3, kèm theo những góc nhìn chuyên sâu từ chính tác giả của bộ tiêu chuẩn đánh giá này.
Artificial Analysis ra mắt bản cập nhật v4.2, bổ sung AA-Briefcase cho tác vụ trí tuệ nhân tạo và GDP.pdf để kiểm tra khả năng suy luận trên tài liệu dài, đồng thời loại bỏ các bài kiểm tra đã bão hòa.
Dex Horthy (HumanLayer)@dexhorthynow that's what i call slop
DịchDex Horthy chia sẻ bản cập nhật mới nhất của SlopCodeBench với lời mỉa mai "đây mới là slop thực thụ", đồng thời xác nhận mô hình Astra đã được đưa vào danh sách đánh giá.
Ethan Mollick@emollickThe whole idea of indexes that you don't change all the criteria in ways that hugely change the rank…
DịchEthan Mollick cho rằng các chỉ số đánh giá AI không nên thay đổi tiêu chuẩn đột ngột làm xáo trộn bảng xếp hạng, đồng thời phê bình việc vẫn giữ lại phương pháp đo lường GDPval-AA thiếu chính xác.
Rohan Paul@rohanpaul_aiScale AI + Univ of California paper shows 2 agents can score almost the same yet need very different…
DịchScale AI và Đại học California vừa công bố khung đánh giá READY, giúp đo lường sự cân bằng giữa chi phí vận hành và mức độ giám sát của con người cần thiết để đảm bảo AI Agent hoạt động an toàn trong môi trường doanh nghiệp.
Alexandr Wang (Scale AI nhà sáng lập/Meta Giám đốc AI)@alexandr_wangupdated artificial analysis index-muse spark 1.3 max still performs quite well! the efficient front…
DịchBản cập nhật v4.2 bổ sung các bài kiểm tra chuyên sâu về tác vụ trí tuệ và khả năng suy luận tài liệu dài, đồng thời tăng trọng số bộ dữ liệu kiểm thử kín để ngăn chặn tình trạng tối ưu hóa điểm số ảo.
Artificial Analysis@ArtificialAnlysAnnouncing Artificial Analysis Intelligence Index v4.2. We are accelerating elements of our upcoming…
DịchArtificial Analysis ra mắt bản cập nhật v4.2 với trọng số kiểm thử riêng tăng gấp đôi, bổ sung các bài đánh giá mới như AA-Briefcase và GDP.pdf, đồng thời loại bỏ bộ dữ liệu GPQA Diamond đã bão hòa.
Tại thời điểm ra mắt, Claude Fable 5.1 được đánh giá là mô hình AI mạnh mẽ nhất thế giới hiện nay. Bài viết phân tích sâu về khả năng và các thông số kỹ thuật từ tài liệu hệ thống của mô hình này.
DAIR.AI@dair_aiVery important paper accelerating research around AI discovery. https://x.com/omarsar0/status/20958...
DịchTRACES là bộ benchmark mới giúp đo lường năng lực suy luận và khám phá khoa học của các mô hình AI khi đối mặt với những vấn đề chưa được xác thực trong thực tế.
Cùng sự kiện, bài đại diện «Apodex ra mắt TRACES: Bộ tiêu chuẩn đánh giá khả năng giải quyết các bài toán khoa học chưa có lời giải»
Elvis Saravia@omarsar0New benchmark from @Apodex_AI worth digging into. TRACES scores AI systems on discoveries where the…
DịchApodex giới thiệu khung Discovery và chuẩn TRACES để đo lường năng lực giải quyết các vấn đề chưa có đáp án xác thực. Với dữ liệu từ 16 ngành công nghiệp, hệ thống này đã vượt qua các mô hình SOTA hiện tại 7% trong lĩnh vực thiết kế protein.
Rohan Paul@rohanpaul_aiGPT-6 Astra delivered Perplexity's strongest WANDR result yet 13.5% above Fable 5.1 while costing 6…
DịchPerplexity vừa thử nghiệm GPT-6 Astra trên bộ tiêu chuẩn WANDR, đạt số điểm cao nhất 0.682 với chi phí 11.98 USD/tác vụ. Kết quả này vượt trội hơn hẳn so với Fable 5.1 và Opus 5 về cả hiệu suất lẫn tối ưu chi phí.
Gary Marcus nhận định GPT-6 Astra là bước tiến thực sự khi OpenAI bắt đầu tích hợp mô hình thế giới biểu tượng, củng cố cho quan điểm mà ông theo đuổi suốt thập kỷ qua, dù vẫn còn hoài nghi về tính ổn định và khả năng kiểm soát.
Kim@kimmonismusThe lesson from today: we need new benchmarks asap.
DịchTác giả của ARC-AGI 3 xác nhận bộ tiêu chuẩn này đã không còn đủ thách thức cho các mô hình AI hiện nay, đồng thời kêu gọi cộng đồng sớm xây dựng các bài kiểm tra năng lực mới.
Cùng sự kiện, tinh chọn hiển thị «ARC-AGI-3 bị chinh phục chỉ sau 6 tháng, tốc độ phát triển AI vượt xa dự đoán»
Perplexity@perplexity_aiWe evaluated GPT-6 Astra on WANDR. It scored 0.682 at $11.98 per task, the highest score of any mode…
DịchPerplexity công bố kết quả kiểm thử mô hình GPT-6 Astra, trong đó WANDR đạt hiệu suất cao nhất với 0.682 điểm, đi kèm chi phí vận hành 11.98 USD cho mỗi tác vụ đơn lẻ.
Francois Chollet@fcholletSide note: when we released ARC-AGI-3 in March, and frontier models scored <1% on it, a few Singular…
DịchFrançois Chollet khẳng định bộ tiêu chuẩn ARC-AGI-3 được thiết kế chuẩn xác. Việc AI tiến bộ từ dưới 1% lên 100% chỉ trong nửa năm cho thấy tốc độ phát triển trí tuệ nhân tạo đang vượt xa mọi dự đoán ban đầu.
Tibo@thsottiauxKhi các mô hình AI dần vượt qua những bài kiểm tra cũ, chúng ta cần những tiêu chuẩn đánh giá mới để định nghĩa chính xác hơn về AGI trong tương lai.
Francois Chollet@fcholletGPT-6 Astra represents a step-function change in model capability for interactive reasoning problems…
DịchFrançois Chollet cho biết GPT-6 Astra đạt bước tiến lớn trong suy luận tương tác, ghi 66% trên ARC-AGI-3 và gần 100% khi kết hợp kỹ thuật tối ưu hóa, dù chi phí mỗi lượt lên tới 360 USD.
Nghiên cứu đánh giá khả năng thay thế các mô hình lớn bằng các mô hình ngôn ngữ nhỏ (như Qwen3-1.7B) để làm giám khảo chấm điểm trong học tăng cường, giúp giảm chi phí tính toán mà vẫn đảm bảo độ chính xác.
Artificial Analysis@ArtificialAnlysGPT-6 Astra makes significant gains in the Artificial Analysis Coding Agent Index, scoring equal to …
DịchArtificial Analysis công bố GPT-6 Astra đạt 67 điểm Coding Agent Index, tương đương Claude Opus 5 và Fable 5, với hiệu suất token vượt trội và chi phí vận hành cạnh tranh hơn nhiều.
Trang Every đã có bài đánh giá nhanh về GPT-6 Astra, khẳng định đây là bước tiến lớn về hiệu năng nhưng mô hình vẫn bộc lộ một số thói quen chưa tốt trong quá trình phản hồi.
Qwen@Alibaba_QwenMeet E-Commerce Bench, a new benchmark for long-horizon autonomous business operations. 🚀 Agents s…
DịchQwen giới thiệu bộ tiêu chuẩn E-Commerce Bench để đánh giá khả năng của AI Agent trong việc tự chủ vận hành kinh doanh dài hạn, từ quản lý kho bãi, đàm phán giá đến tối ưu dòng tiền dựa trên dữ liệu thị trường thực tế.
Nghiên cứu đề xuất giao thức kiểm tra mới giúp phân biệt liệu AI Agent thực sự hiểu quy trình chuyên biệt hay chỉ đang đoán mò, thông qua việc tách biệt hướng dẫn nhiệm vụ khỏi các dữ liệu nội bộ.
S3Gym là bộ tiêu chuẩn đánh giá mới giúp đo lường khả năng tự cải thiện của các tác nhân AI thông qua quy trình tự kiểm thử, tự đánh giá và tự tối ưu hóa trong môi trường trò chơi văn bản.
Gabriel@gabriel1for those that have used both these for all daily operational work: - grokbot - cowork or chatgpt wo…
DịchGabriel thực hiện khảo sát người dùng về trải nghiệm thực tế giữa Grokbot, Cowork và ChatGPT trong các tác vụ vận hành hàng ngày, loại trừ các nhu cầu sử dụng cá nhân.
DAIR.AI@dair_aiGood measurement work on whether retrieved agent skills actually help. They report that agent skill…
DịchBài báo giới thiệu chỉ số RAE giúp đánh giá chính xác khả năng sử dụng kỹ năng thực tế của các LLM Agent, thay vì chỉ dựa vào các chỉ số tổng hợp vốn thường che giấu những hạn chế trong quá trình truy xuất.
Nghiên cứu chỉ ra sự khác biệt lớn giữa các bài kiểm tra lập trình hiện nay và yêu cầu thực tế của người dùng. RealSWE được giới thiệu để đánh giá AI Agent dựa trên các tình huống lập trình tự nhiên, ít cấu trúc và mang tính đời thường hơn.
Alexandr Wang (Scale AI nhà sáng lập/Meta Giám đốc AI)@alexandr_wangNgười dùng @SPAC89 đã thử nghiệm so sánh Muse Spark 1.3 Ultra và Fable 5.1 trong 2 giờ với cùng một yêu cầu: AI phải tự lặp lại quy trình cải thiện cho đến khi đạt điểm đánh giá từ 9.5/10 trở lên.
Rohan Paul@rohanpaul_aiCurrent agent benchmarks may be ending before the real failures start. FM-Bench shows that a model …
DịchNghiên cứu FM-Bench đánh giá khả năng ra quyết định dài hạn của 15 mô hình AI hàng đầu thông qua việc quản lý câu lạc bộ bóng đá trong 20 mùa giải, bao gồm các nhiệm vụ phức tạp như chuyển nhượng, hợp đồng và đầu tư tài chính.
AgentJudgeBench là bộ tiêu chuẩn đầu tiên đánh giá độ tin cậy của LLM khi đóng vai trò giám khảo cho các quy trình làm việc phức tạp (DAG). Nghiên cứu chỉ ra rằng khả năng đánh giá của LLM giảm dần theo độ khó, đặc biệt khi thiếu dữ liệu đối chứng.
Yuchen Jin@Yuchenj_UWDay 1 impressions of Fable 5.1: - talks much more like a normal human now, less Claudish. - web sea…
DịchYuchen Jin đánh giá Fable 5.1 có phong cách giao tiếp tự nhiên hơn, dù khả năng tìm kiếm vẫn thua kém GPT. Đồng thời, ông cho biết Kimi K3 hiện là lựa chọn hàng đầu cho công việc thực tế nhờ hiệu suất vượt mong đợi.
Google hướng dẫn cách xây dựng bộ tiêu chí đánh giá (rubric) cho LLM-as-a-Judge, giúp giảm thiểu sự mơ hồ và lãng phí token. Bài viết nhấn mạnh việc chia nhỏ câu hỏi, tập trung vào dữ kiện khách quan và sử dụng bộ dữ liệu chuẩn để hiệu chỉnh mô hình đạt độ chính xác tương đương con người.
DramaChain Bench là bộ tiêu chuẩn đầu tiên đánh giá toàn bộ quy trình làm phim ngắn từ kịch bản đến thành phẩm. Nghiên cứu chỉ ra rằng chất lượng phim không chỉ phụ thuộc vào video mà còn chịu ảnh hưởng dây chuyền từ các lỗi ở khâu tiền kỳ.
GPT-6 Astra của OpenAI thiết lập kỷ lục SOTA mới trên ARC-AGI-3 với điểm số ấn tượng, đạt 99.9% ở bài kiểm tra Provider Adapter với chi phí tối ưu.
Elvis Saravia@omarsar0Banger paper from ByteDance Seed. If you are curious about self-evolving agent harnesses, this one …
DịchByteDance Seed công bố HarnessDev, một chuẩn đánh giá mới chuyển dịch từ việc kiểm tra kết quả sang tạo lập và tiến hóa môi trường thực thi (harness) cho AI Agent, giúp tối ưu hóa hiệu suất và chi phí vận hành.
