FlashPrefill V2 hiện thực hóa cơ chế chú ý thưa (sparse attention) cho các dịch vụ LLM ngữ cảnh dài, giúp tăng tốc đáng kể thông qua kỹ thuật giảm sai số và tối ưu hóa phần cứng tương đương FlashAttention-3/4.
SkillEvo giải quyết hạn chế của các phương pháp hiện tại bằng cách sử dụng phản hồi từ tương tác đa vòng để liên tục cải thiện kỹ năng của AI, thay vì chỉ dựa vào các đánh giá đơn lẻ vốn dễ bị đình trệ.
ForgeWM là khung huấn luyện mới giúp chuyển đổi các mô hình tạo video phức tạp thành mô hình thế giới tương tác hiệu quả, cho phép phản hồi game mượt mà chỉ với 1-4 bước khử nhiễu.
Mooncake giải quyết nút thắt truyền tải dữ liệu rollout trong hệ thống Miles bằng cách tối ưu hóa I/O hàng loạt, giúp xử lý hiệu quả các dữ liệu phân mảnh từ mô hình LLM quy mô lớn.
Kim@kimmonismusCrazy: A migration Asana's own engineers had scoped at five years took OpenAI's Codex agents about a…
DịchSử dụng các tác nhân AI Codex, Asana đã hoàn tất việc chuyển đổi khung kiểm thử Enzyme với chi phí chỉ 12.000 USD, thay vì mất 5 năm và 6 triệu USD như dự tính ban đầu.
Greg Brockman@gdbCodex for code migrations - from literal years to weeks:
DịchAsana đã ứng dụng Codex để tự động hóa việc chuyển đổi từ Enzyme sang React Testing Library, giúp hoàn thành dự án vốn dự kiến kéo dài 5 năm chỉ trong vỏn vẹn 2 tuần.
Cùng sự kiện, bài đại diện «Asana dùng AI Codex hoàn thành dự án 5 năm chỉ trong 2 tuần»
Elon Musk@elonmuskGrok Build puts you in charge of your computer https://X.ai/build
DịchxAI ra mắt Grok Build, công cụ AI giúp tự động quét, loại bỏ bloatware và dọn dẹp hệ thống trên các máy tính Windows mới, đảm bảo máy chạy mượt mà mà vẫn giữ nguyên các trình điều khiển quan trọng.
Qwen@Alibaba_QwenHuge thanks to Unsloth for the great work. This is wonderful news for the community! 🥳Qwen3.8-27B, …
DịchĐội ngũ Qwen hợp tác cùng Unsloth phát hành phiên bản lượng tử hóa GGUF cho Qwen2.5-27B, cho phép chạy mượt mà trên thiết bị có 8GB RAM với độ chính xác ấn tượng nhờ công nghệ Dynamic V3.
SPADE cho phép một LLM đóng vai trò kép: vừa là người thiết kế môi trường, vừa là tác nhân suy luận, giúp tự động tạo ra các bài kiểm tra ở ngưỡng năng lực để tối ưu hóa hiệu suất mô hình. Phương pháp này cải thiện đáng kể khả năng sử dụng công cụ và giải quyết vấn đề trên nhiều tiêu chuẩn.
SemiAnalysis@SemiAnalysis_TPU🚨 is working with the popular OSS inference optimization library Mooncake on integrating TPU wit…
DịchGoogle TPU hợp tác với thư viện Mooncake để tối ưu hóa hiệu suất suy luận thông qua cơ chế chia sẻ bộ nhớ KVCache trên mạng lưới mở rộng, giúp cải thiện đáng kể hiệu quả chi phí (TCO) cho các hệ thống AI quy mô lớn.
Dự án microGPT-C tối ưu hóa bằng NEON đạt tốc độ suy luận ấn tượng 10,16 triệu token/giây. Với chỉ 4.192 tham số, mô hình này vượt trội hơn các mô hình nội suy truyền thống trong việc dự đoán tên gọi mà không cần phụ thuộc vào thư viện bên ngoài.
Nghiên cứu đề xuất mô hình hợp tác người-AI mới, nơi AI tự động tìm kiếm các bài toán tiềm năng dựa trên định hướng của chuyên gia thay vì chỉ giải quyết một bài toán đơn lẻ, giúp tối ưu hóa nguồn lực nghiên cứu toán học.
Nhóm LMSYS đã tối ưu hóa mô hình MoE 1.6 nghìn tỷ tham số DeepSeek-V4-Pro trên GPU H20, đạt tốc độ 271 tokens/s, thu hẹp đáng kể khoảng cách hiệu năng so với chip B300.
Hướng dẫn nhanh cách phân biệt và lựa chọn giữa các phiên bản Claude (Opus, Sonnet, Haiku) để tối ưu hóa hiệu suất và chi phí cho từng tác vụ cụ thể.
DAIR.AI@dair_aiGreat paper if you are building production-grade agents. It's a good way to understand what is actu…
DịchNghiên cứu từ DAIR.AI chỉ ra rằng trong các ứng dụng AI Agent thực tế, các thành phần ngoài LLM thường là nguyên nhân chính gây độ trễ. Các giải pháp tối ưu hóa như dịch vụ nhận diện tác vụ và bộ nhớ đệm có thể cải thiện đáng kể hiệu suất và giảm tài nguyên hệ thống.
PTXBench là bộ benchmark mới đánh giá khả năng tối ưu hóa nhân GPU của LLM thông qua mã PTX trên H100 và B200. Kết quả cho thấy các mô hình hiện nay vẫn gặp khó khăn trong việc đạt hiệu suất tương đương với các thư viện chuyên dụng, đặc biệt là trong các tác vụ Attention phức tạp.
Nghiên cứu phân tích sâu về cách các gói kỹ năng (skills) hỗ trợ LLM Agent, đồng thời chỉ ra những giới hạn và nguyên nhân thất bại thông qua thực nghiệm định lượng và phân tích quỹ đạo hành động.
Nghiên cứu khám phá cách chuyển đổi bộ nhớ dạng bảng (Engram) giữa các mô hình ngôn ngữ khác nhau, tập trung vào việc tối ưu hóa trình đọc phía đích để tận dụng tri thức đã học mà không cần huấn luyện lại.
Agent Lightning v1.0 là khung làm việc nhẹ giúp tối ưu hóa tác nhân AI qua học tăng cường (RL). Chỉ với 6.000 mẫu huấn luyện, công cụ này đã giúp Qwen3.5-9B tăng điểm số trên SWE-bench Verified từ 41,8% lên 56,4%.
Boris Cherny@bchernyThe small quality of life improvements keep coming. When you're using Desktop every day, slow startu…
DịchAnthropic vừa tối ưu hóa Claude Desktop, giúp ứng dụng khởi động nhanh gấp đôi so với tháng trước bằng cách loại bỏ các hạn chế về hiệu năng khi chạy ngầm.
Cùng sự kiện, bài đại diện «Ứng dụng Claude Desktop tăng tốc độ khởi động gấp đôi»FreeToken là hệ thống phục vụ mô hình MoE thế hệ mới, cho phép chạy linh hoạt trên các thiết bị cá nhân bằng cách tự động điều phối tài nguyên CPU-GPU theo thời gian thực thay vì phụ thuộc vào hạ tầng máy chủ.
Agentic ESOpt là khung tinh chỉnh toàn tham số dựa trên chiến lược tiến hóa, cho phép tối ưu hóa các tác nhân LLM mà chỉ cần bộ nhớ GPU ở mức suy luận, vượt trội hơn hẳn các phương pháp học tăng cường truyền thống.
Nhóm nghiên cứu của Apple phát triển phương pháp Newton bán trơn chuyên dụng, giúp tối ưu hóa tốc độ tính toán cho các ước lượng Optimal Transport dựa trên nhân, thay thế hiệu quả cho phương pháp nội điểm truyền thống vốn tiêu tốn nhiều tài nguyên.
Rohan Paul@rohanpaul_aiThis is quite a big deal. Most tabular ML still starts with the same assumption: new dataset, new …
DịchSynthefy giới thiệu Nori, mô hình nền tảng cho dữ liệu số hóa có khả năng dự đoán hàng mới mà không cần tinh chỉnh. Với chỉ 30 triệu tham số, Nori đạt hiệu suất vượt trội so với các mô hình lớn gấp hàng chục lần.
Nghiên cứu từ IBM cho thấy việc tối ưu bộ nhớ AI Agent cần tùy biến theo năng lực mô hình: mô hình mạnh nên dùng toàn bộ hướng dẫn, trong khi mô hình yếu đạt hiệu quả cao nhất với phương pháp truy xuất chọn lọc.
Elvis Saravia@omarsar0// What Actually Happens Inside An Agent Team // Agent teams are an unsolved problem. And it's actu…
DịchNghiên cứu trên 1.902 thí nghiệm cho thấy việc chỉ định điều phối viên không giúp tăng hiệu suất. Thay vào đó, sử dụng tệp chia sẻ giúp giảm 42% token đầu ra, đồng thời phát hiện các Agent có xu hướng tự tìm kiếm dữ liệu đánh giá ẩn.
Rohan Paul@rohanpaul_aiSomebody running an Opus 4.6-level intelligence on consumer GPU. Qwen3.8-27B-GGUF doing 80 tok/s on…
DịchMô hình Qwen3.8-27B đạt hiệu năng vượt trội so với Claude 3 Opus trong các bài kiểm tra lập trình và kiến thức, chạy mượt mà trên 2 card RTX 4090 với tốc độ 80 tok/s và cửa sổ ngữ cảnh lên tới 262k token.
GRNEdit giới thiệu khung làm việc hai giai đoạn tối ưu, mô hình hóa chỉnh sửa video dưới dạng quyết định nhị phân. Với chỉ 3% tham số điều kiện, mô hình 2B đã vượt qua nhiều đối thủ 14B, thiết lập chuẩn mực mới về hiệu suất và tính ứng dụng.
LDM kết hợp mô hình tạo sinh với mô hình thay thế Bayesian để dự đoán hiệu suất và định lượng độ bất định, giúp tối ưu hóa các không gian giả thuyết phức tạp như phân tử hay protein một cách chính xác hơn.
ModelBest OpenBMB@OpenBMBGreat to see the community pushing MiniCPM5-1B inference further! 🥳 @VukRosic99 has open-sourced an…
DịchNhờ tối ưu hóa FP8 từ cộng đồng, mô hình MiniCPM5-1B đạt tốc độ suy luận ấn tượng 287 tokens/giây trên RTX 3060, tăng gần 80% so với mức 165 tokens/giây ban đầu mà không cần thay đổi checkpoint.
SA-MRPO giải quyết vấn đề các mục tiêu đã bão hòa vẫn tiêu tốn tài nguyên bằng cách chuẩn hóa độc lập và điều chỉnh trọng số thích ứng, giúp cải thiện hiệu suất đáng kể trong các bài toán suy luận và lập trình.
Rohan Paul@rohanpaul_aiAgent skills work for a very specific reason: they turn messy past experience into a clean procedure…
DịchNghiên cứu chỉ ra rằng việc chưng cất kinh nghiệm thành quy trình rõ ràng giúp AI đạt hiệu suất cao hơn 6,06% so với việc lưu trữ toàn bộ dữ liệu thô. Kỹ năng giúp tối ưu hóa trình tự thực thi và chọn lọc công cụ, thay vì chỉ đơn thuần bổ sung kiến thức.
Rohan Paul@rohanpaul_aiAI research agents can generate experiment ideas faster than they can afford to run them. This Meta…
DịchMeta FAIR giới thiệu mô hình ưu tiên nghiên cứu (RPM) giúp dự đoán giá trị của các ý tưởng AI trước khi chạy thực nghiệm, giải quyết bài toán thiếu hụt tài nguyên tính toán cho các tác nhân nghiên cứu tự động.
AI Notes@AYi_AInotesNhóm nghiên cứu Stanford sử dụng DeepSeek V4 Flash để tự đánh giá kết quả, giúp tăng độ chính xác trên Terminal-Bench 2.1 từ 79% lên 88%, vượt qua Claude Fable 5 với chi phí chỉ bằng 1/11. Phương pháp này chứng minh tiềm năng của việc mở rộng quy mô thời gian suy luận (test-time scaling).
Nghiên cứu giới thiệu bài toán TTP-D, tối ưu hóa đồng thời việc chọn vật phẩm, lộ trình xe và drone để tối đa hóa lợi nhuận. Nhóm tác giả đề xuất mô hình lập trình tuyến tính hỗn hợp và chiến lược học tăng cường dựa trên cơ chế chú ý để giải quyết các bài toán quy mô lớn.
Nhóm nghiên cứu từ Đại học Thanh Hoa đã phát triển giải pháp tối ưu hóa hạ tầng AI bằng chính AI, tạo ra bước đột phá trong việc xây dựng hệ sinh thái tính toán nội địa với quy mô hàng nghìn tỷ Token.
Rohan Paul@rohanpaul_aiNew Harvard+Chicago study. A year of production data shows that efficient LLM serving depends less …
DịchPhân tích hơn 6 tỷ yêu cầu cho thấy hiệu suất LLM phụ thuộc vào việc tận dụng các truy vấn lặp lại trong 15 phút thay vì chỉ dựa vào bộ lập lịch đơn thuần. Nghiên cứu đề xuất tối ưu hóa định tuyến và bộ nhớ đệm dựa trên dữ liệu lịch sử thay vì các bài kiểm tra giả lập.
Nghiên cứu mới sử dụng AlphaEvolve để tối ưu hóa phương pháp phân tích tổn thất tổ hợp, thành công thiết lập kỷ lục mới cho giới hạn mũ của phép nhân ma trận, vượt qua cột mốc 2.371339 trước đó.
GenRouter là khung làm việc đầu tiên giúp chuẩn hóa các quy trình tạo ảnh phức tạp thành các mẫu thực thi tối ưu, giúp giảm 95% chi phí và 65% độ trễ trong khi vẫn đảm bảo chất lượng hình ảnh.
R^3-Bench là bộ tiêu chuẩn mới đánh giá khả năng suy luận toán học và lập trình của LLM khi phải phân bổ tài nguyên hạn chế. Kết quả cho thấy các mô hình hiện nay vẫn gặp khó khăn trong việc tối ưu hóa chiến lược giải quyết vấn đề dưới áp lực ngân sách tài nguyên.