MiniMax@MiniMax_AIH3 keeps getting faster. ⚡️ @sgl_project + VDN-H3 now push MiniMax H3 beyond 2× real-time denoising…
DịchMiniMax H3 tối ưu hóa quy trình tạo video 768p với thời gian khử nhiễu chỉ 6,9 giây, đạt hiệu suất vượt trội mà không làm giảm chất lượng hình ảnh so với mô hình gốc.
Sakana AI đề xuất PC-ALM, phương pháp sử dụng nhân tử Lagrange cho mã hóa dự đoán, cho phép cập nhật trọng số cục bộ tại từng lớp mà vẫn đạt hiệu suất tương đương lan truyền ngược trên mạng 1000 lớp.
Ant Ling@AntLingAGIThree quantized versions of Ling-3.0-flash-Fin are now available: FP8, FP4 and INT4. If you're build…
DịchLing-3.0-flash-Fin hiện đã hỗ trợ các định dạng FP8, FP4 và INT4, giúp người dùng linh hoạt tối ưu hóa hiệu suất và bộ nhớ cho các quy trình nghiệp vụ tài chính thực tế.
AK@_akhaliqSAS Simple Attention Sparsification via End-to-End Optimization of Context Ranking paper: https://...
DịchNghiên cứu giới thiệu SAS, một phương pháp mới giúp tối ưu hóa hiệu quả tính toán của cơ chế chú ý (attention) thông qua việc xếp hạng ngữ cảnh end-to-end, giúp mô hình xử lý dữ liệu nhanh và tinh gọn hơn.
TRACE là khung làm việc không cần huấn luyện giúp tối ưu hóa hiệu suất cho các tác nhân GUI bằng cách chọn lọc và sắp xếp bằng chứng hình ảnh, giúp giảm độ trễ và bộ nhớ mà vẫn đảm bảo độ chính xác.
Nghiên cứu đề xuất thuật toán điều hướng truy vấn thông minh tới các mô hình AI khác nhau nhằm tối đa hóa chất lượng phản hồi trong môi trường học trực tuyến, ngay cả khi dữ liệu phản hồi bị giới hạn.
Nghiên cứu giới thiệu khung DSR giúp các tác nhân LLM chọn lọc kỹ năng hiệu quả hơn bằng cách cân bằng giữa độ liên quan và tính đa dạng, tránh lãng phí tài nguyên do trùng lặp chức năng.
Ma Dongxi NLP@dongxi_nlpDeepSeek-V4.1-Flash là mô hình MoE đa phương thức 552B tham số, sử dụng kiến trúc CED và kỹ thuật FP4 giúp giảm dung lượng KV cache xuống mức cực thấp, hỗ trợ ngữ cảnh lên tới 1 triệu token với hiệu suất vượt trội.
karminski@karminski3Người dùng tranh luận về việc thiết lập cường độ suy luận trên DeepSeek-V4.1-Flash. Trong khi một số cho rằng cài đặt này không ảnh hưởng hiệu suất, tác giả dẫn chứng nghiên cứu DeepSeek-R1-Zero để khẳng định thời gian suy luận càng dài, năng lực giải quyết vấn đề càng cao.
Tibo@thsottiauxWhat's a feature we should remove from Codex that isn't useful anymore?
DịchCộng đồng đang thảo luận về việc tinh giản Codex bằng cách xác định và loại bỏ các tính năng không còn mang lại giá trị thực tiễn cho người dùng.
HardFlow là thuật toán cắm-và-chạy từ MIT giúp các mô hình AI tuân thủ nghiêm ngặt các ràng buộc về an toàn và vật lý ngay trong giai đoạn suy luận, tối ưu hóa hiệu suất mà không cần đào tạo lại.
SAS là phương pháp mới giúp tinh giản cơ chế Attention bằng cách tối ưu hóa trực tiếp việc chọn lọc token quan trọng, thay vì chỉ bắt chước phân phối trọng số của mô hình gốc, giúp sử dụng hiệu quả hơn ngân sách tính toán hạn chế.
COBRA-Skills là khung làm việc mới giúp tối ưu hóa kỹ năng cho tác nhân LLM bằng cách sử dụng thuật toán bandit để chọn lọc và tinh chỉnh kỹ năng hiệu quả, giúp giảm tới 58% chi phí tính toán so với các phương pháp truyền thống.
Dex Horthy (HumanLayer)@dexhorthyon this week's 🦄 AI That Works, @tbrownio shares their "compounding" process to generate post-morte…
DịchDex Horthy chia sẻ quy trình 'compounding' giúp cải thiện AI Agent: tạo báo cáo hậu kiểm (post-mortem) mỗi khi cần can thiệp thủ công, sau đó tổng hợp hàng tuần để tinh chỉnh kỹ năng, câu lệnh và bộ nhớ của AI, giúp ngăn chặn lỗi lặp lại.
Elvis Saravia@omarsar0Looped transformers are a popular architecture topic right now. This new technical report extends t…
DịchRLT (Recurrent Looped Transformer) đề xuất tái sử dụng bộ giải mã cho từng token, giúp duy trì chi phí tính toán ổn định bất kể độ dài chuỗi. Dù hứa hẹn về hiệu suất, đây hiện mới chỉ là ý tưởng thiết kế chưa qua thực nghiệm.
Dex Horthy (HumanLayer)@dexhorthyThe first time I saw fable do this unprompted I was super impressed and started asking for it. It's …
DịchThay vì gửi từng ảnh riêng lẻ, hãy ghép chúng thành một 'contact sheet' để giảm số lần gọi API và tiết kiệm đáng kể dung lượng ngữ cảnh cho AI Agent. Kỹ thuật này cũng rất hiệu quả khi trích xuất thông tin từ video.
Xiaobei@frxiaobeiBài viết của Ma Bo giải thích tường tận mối liên hệ giữa Attention, Prefill, KV Cache và Prefix Caching, giúp bạn nắm vững nền tảng để hiểu sâu hơn về các kỹ thuật nâng cao như Multi-Head Latent Attention.
Ma Dongxi NLP@dongxi_nlpBài viết giải thích cách tối ưu hóa LLM thông qua Prefill, lưu trữ KV cache và cơ chế Prefix Caching. Tác giả sử dụng ví dụ thực tế về truy vấn tài liệu để làm rõ giới hạn của việc tái sử dụng bộ nhớ đệm khi đầu vào thay đổi.
Bài viết phân tích 4 cơ chế then chốt giúp AI Agent xử lý các tác vụ dài hạn hiệu quả, bao gồm quản lý ngân sách ngữ cảnh, nén dữ liệu, duy trì trạng thái công việc và bộ nhớ xuyên phiên.
Rohan Paul@rohanpaul_aiStanford + MIT paper on Model Harnesses shows that AI performance depends not just on the model itse…
DịchNghiên cứu Meta-Harness chỉ ra rằng hiệu suất của LLM không chỉ phụ thuộc vào mô hình mà còn vào hệ thống bao quanh (harness). Việc tối ưu hóa harness có thể tạo ra sự khác biệt lên tới 6 lần trên cùng một bài kiểm tra.
Ma Dongxi NLP@dongxi_nlpBài viết giải thích cơ chế KV Cache trong suy luận LLM: K và V của các token trước được lưu lại để tái sử dụng, trong khi Q chỉ dùng cho vị trí hiện tại nên không cần lưu trữ.
Cùng sự kiện, tinh chọn hiển thị «DeepSeek ra mắt DeepSeek-V4.1-Flash: Cửa sổ 1M token, tối ưu bộ nhớ KV Cache cực đỉnh»Rohan Paul@rohanpaul_aiSatya Nadella revealed Microsoft is getting more than 7x performance gains by repurposing older GPUs…
DịchCEO Satya Nadella tiết lộ Microsoft đã tái sử dụng các cụm GPU cũ để tăng tốc kho dữ liệu Fabric, giúp cải thiện hiệu suất lên hơn 7 lần mà không cần đầu tư phần cứng mới.
DeepSeek V4.1 Flash gây sốt khi vượt mặt bản Pro về hiệu suất dù có tham số nhỏ hơn, nhờ những đột phá trong tối ưu hóa KV cache và chi phí vận hành cực thấp.
AI Notes@AYi_AInotesĐồng sáng lập Wafer gợi ý nghiên cứu kỹ chương 7 tài liệu 'How To Scale Your Model' của DeepMind để tối ưu hóa hiệu năng suy luận AI, đồng thời chia sẻ kho tài nguyên kỹ thuật chuyên sâu.
Jason Liu@jxnlcoYeah, use light or medium thinking effort
DịchChuyên gia Jason Liu khuyên người dùng nên chọn mức độ tư duy từ nhẹ đến trung bình thay vì mặc định dùng tối đa, nhằm tối ưu hóa hiệu quả thay vì lãng phí token vô ích.
OpenAI đã tối ưu hóa nền tảng lưu trữ Habitat bằng cách chuyển sang Rust, giúp xử lý hơn 70 triệu yêu cầu mỗi giây trên quy mô dữ liệu 500PB với hiệu suất CPU vượt trội.
Cùng sự kiện, tinh chọn hiển thị «OpenAI hé lộ cách nền tảng Habitat vận hành hệ thống lưu trữ cho hơn 1 tỷ người dùng ChatGPT (Phần 1)»Simon Willison chia sẻ về các rủi ro khi dùng tính năng tự động định tuyến của OpenRouter, nơi sự khác biệt về cấu hình giữa các nhà cung cấp có thể gây lỗi mô hình. Bài viết hướng dẫn cách chỉ định nhà cung cấp cụ thể để đảm bảo tính ổn định cho ứng dụng.
Elvis Saravia@omarsar0Very cool paper on memory compression for agents. If you run many agent sandboxes in parallel for R…
DịchCác nhà nghiên cứu từ HKUST giới thiệu AgentZip, kỹ thuật tối ưu hóa bộ nhớ cho các sandbox AI Agent bằng cách loại bỏ dữ liệu dư thừa, giúp giảm mức sử dụng RAM lên đến 8,7 lần mà vẫn duy trì hiệu suất ổn định.
DeepSeek vừa phát hành mã nguồn mở V4.1-Flash với kiến trúc CED giúp giảm đáng kể chi phí prefill. Mô hình 552B tham số này hỗ trợ cửa sổ ngữ cảnh 1 triệu token và khả năng xử lý đa phương thức văn bản - hình ảnh.
Cùng sự kiện, tinh chọn hiển thị «DeepSeek ra mắt DeepSeek-V4.1-Flash: Cửa sổ 1M token, tối ưu bộ nhớ KV Cache cực đỉnh»
Yuchen Jin@Yuchenj_UW5 months at Databricks. I do not say this lightly. Our AI inference is getting too fast. We are ext…
DịchKỹ sư tại Databricks khẳng định tốc độ suy luận AI đã được cải thiện vượt bậc, đạt đến mức phản hồi gần như ngay lập tức ngay khi người dùng vừa nhập xong câu lệnh.
DAIR.AI@dair_aiGreat paper on self-evolving agent harnesses. Self-evolving agent harnesses have two practical prob…
DịchEcdysis tối ưu hóa quy trình tự sửa lỗi của AI bằng cách phân tích lỗi theo lô và thống nhất chiến lược trước khi sửa code, giúp tăng tốc huấn luyện 1,84 lần và cải thiện 18,56% độ chính xác với ít dữ liệu hơn.
EvoSafeHarness là khung tối ưu hóa tự động giúp thiết kế các lớp bảo mật chuyên biệt, phù hợp với từng mô hình ngôn ngữ và lĩnh vực ứng dụng cụ thể, thay vì sử dụng các quy tắc cứng nhắc chung chung.
HyQuant tối ưu hóa hiệu suất LLM bằng cách kết hợp lượng tử hóa bit thấp cho hầu hết các trạng thái Attention, đồng thời giữ độ chính xác cao cho các vùng dữ liệu quan trọng, giúp giảm thiểu sai số mà vẫn đảm bảo tốc độ.
Rohan Paul@rohanpaul_aiFor memory-limited agents, organize the past before you optimize search: grouping related memories a…
DịchRSM-full tối ưu hóa bộ nhớ cho AI bằng cách nhóm các dữ liệu liên quan thay vì truy xuất rời rạc, giúp duy trì 83% chất lượng phản hồi với chi phí token chỉ bằng 1/3 so với phương pháp truyền thống.
Sakana AI giới thiệu thế hệ mô hình Fugu mới, tập trung vào việc cân bằng tối ưu giữa hiệu suất và tài nguyên tính toán theo nguyên lý Pareto, mở ra khả năng ứng dụng linh hoạt hơn cho các tác vụ phức tạp.
Cùng sự kiện, bài đại diện «Sakana AI ra mắt Fugu Max và Fugu Ultra v2: Đột phá tối ưu chi phí cho điều phối đa mô hình»
Hongming@hongming731DeepSeek V4.1 Flash tối ưu hóa KV Cache và hiệu suất, trong khi Cognition SWE-2 đạt cột mốc mới. Ngoài ra, Shopify chuyển hướng sang phát triển Native và Magic đạt bước tiến lớn về hiệu suất tiền huấn luyện.
Cùng sự kiện, tinh chọn hiển thị «DeepSeek ra mắt DeepSeek-V4.1-Flash: Cửa sổ 1M token, tối ưu bộ nhớ KV Cache cực đỉnh»DAIR.AI@dair_aiAnother interesting approach to self-evolve agent skills. But it's important to know that skill sel…
DịchSkillAdam áp dụng cơ chế tối ưu hóa Adam vào việc tự tiến hóa kỹ năng cho AI, giúp giải quyết tình trạng mất ổn định và kiểm soát biên độ cập nhật. Phương pháp này đạt kết quả SOTA trên 7 bài kiểm tra, giảm đáng kể chi phí và số lần lặp lại so với các kỹ thuật trước đây.
Elvis Saravia@omarsar0This is a brilliant paper. It's of the cleanest long-context agent designs I have seen in the past …
DịchPARSER tách biệt việc đọc và suy luận bằng cách sử dụng các tác tử phụ xử lý song song từng phần dữ liệu, trong khi tác tử chính tổng hợp thông tin và đặt câu hỏi chuyên sâu, giúp tăng hiệu suất cho các mô hình AI ngữ cảnh dài.
DAIR.AI@dair_aiRecommended read. Interaction horizon scheduling is an underexplored control problem in agentic RL …
DịchElastic Horizon là bộ điều khiển vòng lặp giúp tối ưu hóa số vòng tương tác của tác nhân AI, thay thế cách lập lịch cố định truyền thống. Phương pháp này giúp tăng tỷ lệ thành công trên AppWorld và BFCL, đồng thời tiết kiệm tới 25% lượng token mỗi bước.
OreoLook giới thiệu kiến trúc bộ nhớ đệm 3 lớp giúp giảm độ trễ và chi phí cho các công cụ tìm kiếm AI, cho phép chạy mượt mà trên phần cứng CPU phổ thông bằng cách tối ưu hóa ngữ cảnh phiên và truy vấn ngữ nghĩa.