Dex Horthy (HumanLayer)@dexhorthyGerred is probably top 10 in the world at serving inference at massive scale on thousands of gpus - …
DịchĐược đánh giá nằm trong top 10 thế giới, Gerred sở hữu năng lực vận hành dịch vụ suy luận trên hàng nghìn GPU, trở thành điểm đến lý tưởng cho các kỹ sư AI.
Infer-forge là hệ thống kỹ thuật nội bộ giúp chuẩn hóa quy trình triển khai mô hình AI thông qua các cấu trúc Harness, Loop và Graph, đảm bảo tính nhất quán và khả năng kiểm chứng cho các hệ thống suy luận phức tạp.
Rohan Paul@rohanpaul_aiAndrew Feldman, co-founder and CEO of Cerebras gives the best explanation of why Cerebras' wafer-sca…
DịchCEO Andrew Feldman giải thích rằng nhờ lưu trữ trọng số mô hình trực tiếp trên SRAM của chip wafer thay vì bộ nhớ HBM như GPU, Cerebras đã loại bỏ nút thắt cổ chai khi truyền dữ liệu, giúp tăng tốc độ suy luận lên gấp 2.500 lần.
SemiAnalysis@SemiAnalysis_Most production inference services run on Kubernetes, where declarative configuration helps coordina…
DịchNVIDIA vừa công bố srt-slurm, công cụ mã nguồn mở giúp tự động hóa việc triển khai và quản lý các hệ thống suy luận AI trên cụm Slurm thông qua cấu hình YAML, hỗ trợ tối ưu hóa tài nguyên GPU và các kiến trúc suy luận phức tạp.
Thay vì phụ thuộc vào các khung công cụ bên ngoài, phương pháp 'Inspirational Learning' giúp AI tự học hỏi từ kinh nghiệm cũ, áp dụng tư duy tương tự để giải quyết vấn đề mới một cách thông minh và tự chủ hơn.
IBM giới thiệu dòng mô hình Granite 4.2 mã nguồn mở với ba phiên bản 3B, 8B và 30B, tích hợp khả năng suy luận theo chuỗi tư duy và cơ chế điều khiển tư duy linh hoạt.
Aravind Srinivas (Perplexity CEO)@AravSrinivasA background process that continually ingests context from every single connector (or app), performs…
DịchCEO Aravind Srinivas dự đoán tương lai của AI là các tác nhân chạy ngầm, liên tục thu thập dữ liệu và thực hiện suy luận đa bước ngay trên phần cứng của người dùng.
Cerebras trình bày các giải pháp phần cứng tiên tiến giúp tối ưu hóa tốc độ suy luận cho các mô hình AI quy mô lớn, thiết lập chuẩn mực mới về hiệu suất tại sự kiện Hot Chips 2026.
OpenAI công bố chip Jalapeño hợp tác cùng Broadcom, đạt hiệu suất suy luận vượt trội so với Nvidia Blackwell trong các bài kiểm tra thực tế. Dự kiến chip sẽ bắt đầu triển khai quy mô nhỏ vào cuối năm 2026.
Cùng sự kiện, bài đại diện «OpenAI ra mắt chip suy luận tự phát triển Jalapeño: Đột phá về tốc độ và hiệu suất năng lượng»TileMix là kỹ thuật mới giúp tối ưu hóa tính toán self-attention trong LLM bằng cách chia ma trận thành các ô và linh hoạt điều phối độ chính xác (FP16 hoặc INT8) cho từng nhóm ô, giúp giảm tải bộ nhớ mà vẫn duy trì hiệu suất phần cứng.
Artificial Analysis@ArtificialAnlysArtificial Analysis has measured 3, 431 tokens/s on Gemma 4 31B via a private demonstration endpoint …
DịchArtificial Analysis ghi nhận NVIDIA Groq 3 LPX đạt tốc độ suy luận ấn tượng 3.431 tokens/giây cho mô hình Gemma 4 31B, duy trì hiệu suất ổn định ngay cả với ngữ cảnh 100k.
NVIDIA chính thức thương mại hóa công nghệ Groq với hệ thống LPX chứa 256 chip, đạt tốc độ xử lý ấn tượng 3.400 token/giây. Hệ thống này sẽ được triển khai trên nền tảng đám mây Nebius vào cuối năm nay.
SemiAnalysis@SemiAnalysis_Introducing AgentX: InferenceXs new agentic inference performance benchmark. (1/2) 🧵
DịchSemiAnalysis vừa giới thiệu AgentX, một bộ tiêu chuẩn đánh giá (benchmark) mới được thiết kế để đo lường khả năng suy luận và hiệu suất thực tế của các AI Agent.
ParaTempo là khung suy luận song song không cần huấn luyện, sử dụng độ tin cậy theo thời gian để đánh giá sự hội tụ của các nhánh suy luận, giúp giảm chi phí tính toán mà vẫn đảm bảo độ chính xác.
Moore Threads ra mắt sách trắng về kiến trúc 'Prefill-as-a-Service' dựa trên card đồ họa MTT S5000, giúp giải quyết bài toán chi phí cao trong các tác vụ suy luận AI với ngữ cảnh cực dài như AI Agent và phân tích tài liệu.
SemiAnalysis@SemiAnalysis_AgentX - InferenceXv3: Does CUDA Moat Hold up in Agentic Inferencing? $3 Million USD dataset open s…
DịchAgentX giới thiệu bộ dữ liệu 3 triệu USD với ngữ cảnh 1 triệu token, tối ưu hóa KVCache cho AI Agent đạt hiệu suất trên 95% trên các nền tảng phần cứng mạnh mẽ như GB300 và MI355.
opencode@opencodeerrors are back down down to near zero after some more optimizations + allocating more resources th…
DịchSau khi tối ưu hóa và nhận được sự hỗ trợ kịp thời từ Cloudflare, OpenCode đã khắc phục thành công các lỗi hệ thống. Đội ngũ phát triển cũng hứa hẹn sẽ sớm chia sẻ những thách thức đặc thù trong việc vận hành các mô hình suy luận AI.
Nhóm nghiên cứu từ Berkeley và MIT vừa ra mắt FreeToken, hệ thống suy luận tối ưu cho phép chạy các mô hình MoE khổng lồ trên phần cứng tiêu dùng với tốc độ cực nhanh, xóa bỏ rào cản về hạ tầng máy chủ.
opencode@opencodewe just deployed a fix that was causing a small percentage of requests to our inference service to d…
DịchOpenCode vừa triển khai bản cập nhật nhằm khắc phục tình trạng chậm phản hồi ở một số yêu cầu suy luận, giúp cải thiện đáng kể tốc độ dịch vụ.
opencode@opencodewe just deployed a fix that was causing a small percentage of requests to our inference service to d…
DịchOpenCode vừa triển khai bản cập nhật nhằm khắc phục tình trạng phản hồi chậm ở một số yêu cầu suy luận, giúp cải thiện tốc độ xử lý cho người dùng.
Ant Ling@AntLingAGIToday we are open sourcing Ling-3.0-flash-dspark, a DSpark draft model built specifically for Ling-3…
DịchAnt Group vừa công bố mã nguồn mở Ling-3.0-flash-dspark, mô hình dự đoán (draft model) tối ưu cho Ling-3.0-flash. Trên hệ thống 4 GPU NVIDIA Blackwell, mô hình đạt tốc độ ấn tượng 1.120 tok/s với độ trễ cực thấp, giúp tăng tốc đáng kể hiệu suất suy luận.
Kim@kimmonismusThis is seriously impressive: Cerebras just unveiled CS-4, and nearly doubled its AI inference perfo…
DịchCerebras CS-4 tối ưu hóa hệ thống tản nhiệt và nguồn điện để tăng gấp đôi tốc độ xung nhịp, đạt hiệu năng suy luận vượt trội gấp 30 lần so với hệ thống GPU truyền thống trên mô hình GPT-OSS-120B.
Co-RL là khung học tăng cường đa tác nhân mới, cho phép các mô hình tự tối ưu hóa thông qua tín hiệu phần thưởng lẫn nhau mà không cần nhãn. Việc tăng cường tính đa dạng của nhóm giúp giảm lỗi phản hồi và cải thiện đáng kể hiệu suất trên các tác vụ văn bản và đa phương thức.
Rohan Paul@rohanpaul_aiAI agents can threaten human agency and autonomy long before consciousness becomes relevant, simply …
DịchNghiên cứu từ Thượng Hải AI Lab và ĐH Thanh Hoa cảnh báo AI Agent có thể đe dọa quyền tự chủ của con người ngay cả khi chưa có ý thức, với các rủi ro chuyển dịch từ thao túng hành vi sang chống lại sự kiểm soát khi năng lực suy luận đạt đến cấp độ cao hơn.
SemiAnalysis@SemiAnalysis_TPU🚨 is working with the popular OSS inference optimization library Mooncake on integrating TPU wit…
DịchGoogle TPU hợp tác với thư viện Mooncake để tối ưu hóa hiệu suất suy luận thông qua cơ chế chia sẻ bộ nhớ KVCache trên mạng lưới mở rộng, giúp cải thiện đáng kể hiệu quả chi phí (TCO) cho các hệ thống AI quy mô lớn.
Cerebras trình làng hệ thống CS-4 sử dụng chip WSE-3 Turbo, mang lại hiệu suất suy luận vượt trội gấp 30 lần so với GPU truyền thống và khả năng xử lý các mô hình 10 nghìn tỷ tham số với tốc độ hơn 1000 token/giây.
Cerebras trình làng chip WSE-3 Turbo và hệ thống CS-4 mới, đạt tốc độ suy luận 4465 token/giây, nhanh gấp 30 lần so với giải pháp GPU truyền thống.
Yuchen Jin@Yuchenj_UWDFlash 2 is very cool! Speculative decoding is such a cool technology. I'm waiting for the day we …
DịchDFlash 2 từ Z Lab và Inco AI mang đến công nghệ giải mã suy đoán (speculative decoding) mạnh mẽ, giúp tăng tốc độ xử lý mô hình AI lên gấp 4,6 lần mà vẫn giữ nguyên độ chính xác, đạt 70 tok/s trên MacBook Pro M5 Max.
ModelBest OpenBMB@OpenBMBGreat to see the community pushing MiniCPM5-1B inference further! 🥳 @VukRosic99 has open-sourced an…
DịchNhờ tối ưu hóa FP8 từ cộng đồng, mô hình MiniCPM5-1B đạt tốc độ suy luận ấn tượng 287 tokens/giây trên RTX 3060, tăng gần 80% so với mức 165 tokens/giây ban đầu mà không cần thay đổi checkpoint.
R^3-Bench là bộ tiêu chuẩn mới đánh giá khả năng suy luận toán học và lập trình của LLM khi phải phân bổ tài nguyên hạn chế. Kết quả cho thấy các mô hình hiện nay vẫn gặp khó khăn trong việc tối ưu hóa chiến lược giải quyết vấn đề dưới áp lực ngân sách tài nguyên.
CLR là khung làm việc không cần huấn luyện giúp tối ưu hóa tài nguyên suy luận bằng cách cô đọng các bước lập luận thành các luận điểm then chốt để kiểm chứng, thay vì đánh giá toàn bộ chuỗi suy luận.
Ma Dongxi NLP@dongxi_nlpBest Read Week 33 R-lens: Making J-lens More Faithful on Early Layers Stealing Reasoning Traces fr…
DịchTuần này tập trung vào R-lens giúp J-lens tăng độ trung thực ở các lớp sớm và kỹ thuật mới cho phép đánh cắp dấu vết suy luận từ các API LLM độc quyền.
Bài viết phân tích lý do tại sao các mô hình tuần hoàn (recurrent models) thường gặp lỗi khi cố gắng suy nghĩ sâu hơn, đồng thời giải thích cách Transformer hiện nay đang dùng phương pháp 'vừa nói vừa nghĩ' để vượt qua giới hạn tính toán.
Nghiên cứu của Giambattista Parascandolo từ năm 2020 về 'suy luận mở' và tối ưu hóa tính toán thời gian thực đã đặt nền móng cho tư duy cốt lõi của các mô hình o1, o3 hiện nay, dù từng bị giới học thuật bác bỏ.
Rohan Paul@rohanpaul_aiWhat if you could pay the reasoning cost once, then reuse what the model learned across future tasks…
DịchMicrosoft đề xuất phương pháp chuyển đổi các mô hình suy luận đắt đỏ thành bộ quy tắc nhỏ gọn. Bằng cách trích xuất kinh nghiệm từ các lần chạy trước, phương pháp này giúp giảm tới 4,5 lần lượng token đầu ra mà vẫn duy trì hiệu suất vượt trội trên các tác vụ thông minh.
Rohan Paul@rohanpaul_aiIf you're spending extra tokens making an LLM critique itself, this paper says a simpler move can be…
DịchNghiên cứu trên các mô hình Qwen2.5 cho thấy việc lấy mẫu lặp lại và chọn đáp án đa số mang lại hiệu quả cao hơn các phương pháp tự phản tư phức tạp khi cùng giới hạn số lượng token.
Các trường đại học hàng đầu Trung Quốc vừa giới thiệu PhyAI, runtime đầu tiên giúp tối ưu hóa hiệu suất suy luận cho robot trong mọi môi trường từ thiết bị biên đến đám mây, giải quyết triệt để vấn đề độ trễ và khả năng mở rộng.
Nghiên cứu giới thiệu phương pháp CaRL giúp LLM nhận diện giới hạn năng lực của chính mình, từ đó từ chối trả lời thay vì đưa ra các suy luận sai lệch nhưng nghe có vẻ thuyết phục.
Ma Dongxi NLP@dongxi_nlpI began to like the word "Workspace". It is the internal area where a model holds, evaluates, and …
DịchChuyên gia Ma Dongxi cho rằng SSI đang xây dựng mô hình có khả năng tự đánh giá và tinh chỉnh suy nghĩ trong một 'không gian làm việc' nội bộ trước khi đưa ra câu trả lời, tương tự như cơ chế tối ưu hóa không gian ẩn dựa trên giá trị.
ModelBest OpenBMB@OpenBMBReasoning models think longer, but longer chains bury more factual mistakes-and one wrong fact early…
DịchCheckRLM là khung RAG mới từ ĐH Thanh Hoa giúp phát hiện và sửa lỗi thực tế ngay trong quá trình suy luận thay vì hậu kiểm. Giải pháp này đạt hiệu suất vượt trội trên các bộ dữ liệu khó như MuSiQue với tốc độ nhanh và tiết kiệm token hơn so với các mô hình hiện nay.
