Yuchen Jin@Yuchenj_UWWe built superintelligent models. Then asked humans: Low, Medium, High, XHigh, or Max?
DịchNghiên cứu mới đặt ra câu hỏi cho con người về việc đánh giá mức độ suy luận của các mô hình siêu thông minh theo thang đo từ Thấp đến Tối đa, nhằm định lượng khả năng tư duy của AI.
Thariq@trq212What is effort really? When do you change it it and why not just use max effort for everything? I d…
DịchBài viết phân tích sâu về cơ chế 'effort' trong các mô hình AI, giải đáp lý do tại sao việc luôn đặt mức tối đa không phải lúc nào cũng mang lại hiệu quả tối ưu thông qua các thử nghiệm thực tế.
Bài viết phân tích tầm quan trọng của việc tối ưu hóa tốc độ suy luận trong các hệ thống AI phòng thủ, giúp phát hiện và ngăn chặn các mối đe dọa mạng theo thời gian thực hiệu quả hơn.
Factory thông báo Factory Router đã nâng mức tiết kiệm chi phí suy luận từ 42% lên 63% trong môi trường thực tế, đồng thời mở quyền truy cập thử nghiệm cho Factory Private.
Liquid AI giới thiệu mô hình nháp DSpark cho LFM2.5-VL-3B trên Hugging Face, ứng dụng kỹ thuật giải mã suy đoán để tăng tốc độ phản hồi mà vẫn giữ nguyên chất lượng đầu ra.
Thêm 1 nguồn khác đưa tinLiquid AI Mô hình và Blog kỹ thuật (Web)Nghiên cứu này giới thiệu phương pháp trích xuất chuỗi suy luận ẩn từ các mô hình đóng như GPT-6 Astra, chứng minh rằng các bước suy luận này cải thiện đáng kể hiệu suất trong toán học, khoa học và lập trình.
Rohan Paul@rohanpaul_aiThe paper finds that LLM reasoning has an internal structure beyond the words being generated, openi…
DịchNghiên cứu chỉ ra rằng LLM vận hành các quy trình suy luận riêng biệt như tính toán hay suy diễn bên trong cấu trúc nội tại, ngay cả khi kết quả đầu ra bị sai. Điều này chứng minh mô hình có khả năng biểu diễn ý định tư duy độc lập với ngôn ngữ được tạo ra.
Rohan Paul@rohanpaul_aiDeepSeek is testing whether aggressive model optimization can push some share of inference for its s…
DịchDeepSeek đang thử nghiệm tối ưu hóa mô hình để có thể chạy suy luận trên các dòng GPU chơi game phổ thông, giúp giảm bớt áp lực thiếu hụt tài nguyên tính toán cao cấp.
@typesafeai@typesafeaiStepping away while LLMs churn is the new "sorry, code's compiling". Jev makes instant feedback ju…
DịchJEV giới thiệu mô hình suy luận ngữ nghĩa mới, cho phép LLM đưa ra quyết định có cấu trúc ngay lập tức với mọi ngữ cảnh. Hiệu suất của JEV trong các tác vụ truy vấn phức tạp đã đạt ngưỡng tương đương với các mô hình Claude hàng đầu hiện nay.
Modal tiết lộ kỹ thuật tối ưu hóa giúp tăng 2,8 lần hiệu suất mỗi người dùng và 5,6 lần thông lượng cho mô hình Kimi K2.6, cho phép xử lý hàng trăm tỷ token mỗi ngày.
Microsoft Research tích hợp khả năng giảm tải suy luận vào Physical AI Toolchain, cho phép phân bổ khối lượng công việc AI của robot giữa thiết bị, biên và đám mây thông qua Kubernetes, giúp tăng hiệu suất vận hành thực tế.
Thêm 1 nguồn khác đưa tinX: Microsoft Research (@MSFTResearch)
Microsoft Research@MSFTResearchRobots are getting smarter, but how can their hardware match that growth? New Microsoft Research fin…
DịchNghiên cứu mới từ Microsoft cho thấy việc chuyển tác vụ suy luận AI ra khỏi thân máy robot giúp tăng tỷ lệ thành công, cải thiện hiệu suất và hỗ trợ các tác vụ AI vật lý phức tạp hơn.
vLLM chính thức phát hành vllm-metal v0.28.0, mang bộ lập lịch V1, paged KV cache và server tương thích OpenAI lên chip Apple Silicon thông qua MLX và Metal.
Bài viết chia sẻ kinh nghiệm thực tiễn và sự phát triển công nghệ của SenseTime trong việc triển khai hệ thống suy luận hỗn hợp không đồng nhất (heterogeneous hybrid inference) nhằm tăng hiệu suất xử lý Token.
Loongson chính thức phát hành phiên bản phần mềm đầu tiên cho nền tảng GPU LG200, hỗ trợ các chuẩn lập trình CUDA, OpenCL 3.0 cùng thư viện tối ưu cho suy luận AI.
Tại sự kiện AICC2026, Inspur giới thiệu siêu máy chủ AI SD200 Ultra, cho phép vận hành mô hình Kimi K3 với 2.8 nghìn tỷ tham số. Thiết bị đạt độ trễ Token chỉ 5.85ms, nhanh gấp 5 lần mức trung bình của ngành.
NVIDIA Dynamo-Triton 26.07 tích hợp TensorRT cho phép suy luận đa GPU trên một endpoint duy nhất, giúp đơn giản hóa quy trình triển khai và tối ưu hiệu suất cho các mô hình lớn.
SemiAnalysis@SemiAnalysis_Computation and Data Movement for Inference Mapping MoE models onto inference hardware: structure, f…
DịchBài viết đi sâu vào cách tối ưu hóa kiến trúc phần cứng để vận hành hiệu quả các mô hình MoE, tập trung giải quyết nút thắt về luân chuyển dữ liệu trong quá trình suy luận.
Bài phân tích chuyên sâu từ SemiAnalysis chia quy trình suy luận của mô hình MoE thành 4 giai đoạn, làm rõ sự khác biệt về nhu cầu tính toán, bộ nhớ và băng thông mạng.
Ma Dongxi NLP@dongxi_nlpTừ những trải nghiệm thực tế khi dùng AI Agent như độ trễ, lệch hướng và lỗi lặp lại, Ma Dong-seok cho rằng việc suy luận thuần túy trong không gian Token có giới hạn, qua đó đồng tình với quan điểm hoài nghi của Yann LeCun về LLM.
Rohan Paul@rohanpaul_aiBaseten CEO Tuhin Srivastava (@tuhinone) just dropped 2 numbers. shows how fast AI inference is expl…
DịchCEO Tuhin Srivastava tiết lộ dữ liệu tăng trưởng ấn tượng của Baseten: lưu lượng token suy luận AI tăng gấp 40 lần và doanh thu tăng 10 lần chỉ trong 12 tháng qua, cho thấy nhu cầu thực tế về hạ tầng AI đang bùng nổ.
Ma Dongxi NLP@dongxi_nlpCó thông tin cho rằng các phòng thí nghiệm AI lớn tại Trung Quốc đang duy trì huấn luyện trên chip Nvidia nhưng bắt đầu chuyển dịch mạnh mẽ sang chip Huawei cho các tác vụ suy luận.
Nghiên cứu mới từ Salesforce và UIUC cho thấy việc xóa ngẫu nhiên các token trong KV Cache mang lại hiệu quả tương đương các thuật toán phức tạp, đồng thời giúp tăng đáng kể tốc độ suy luận nhờ giảm tải tính toán.
Nghiên cứu từ Đại học Bắc Kinh và YIXIN AI Lab chỉ ra rằng LLM thường trả lời sai do 'nút thắt đọc dữ liệu' (Readout Bottleneck), nơi đáp án đúng đã tồn tại trong trạng thái ẩn nhưng bị sai lệch khi chuyển đổi thành kết quả đầu ra.
SemiAnalysis@SemiAnalysis_BREAKING: AMD MI355X is quickly closing the perf/TCO gap in agentic inference, when compared to GB30…
DịchAMD MI355X đang rút ngắn đáng kể khoảng cách về hiệu năng và chi phí sở hữu (TCO) so với đối thủ GB300 trong các tác vụ suy luận cho AI Agent.
SemiAnalysis@SemiAnalysis_AGENTIC TRAFFIC NOW MAKES UP MORE THAN 70% OF ALL INFERENCE TRAFFIC 🚀 Agentic workloads are chara…
DịchTheo SemiAnalysis, các tác nhân AI (Agent) hiện chiếm hơn 70% lưu lượng suy luận. Báo cáo chỉ ra các đặc điểm tải công việc đặc thù như khả năng tái sử dụng KV-cache cao qua các vòng hội thoại và sự gia tăng nhanh chóng của ngữ cảnh từ hệ thống và công cụ.
Fathom giới thiệu phương pháp đọc KV cache linh hoạt dựa trên ngân sách bit cho từng truy vấn, giúp tăng tốc độ giải mã lên 1,67 lần ở quy mô 1 triệu token mà vẫn duy trì độ chính xác cao hơn so với các kỹ thuật hiện có.
Tang Jie@jietangTwo weeks. That's how long it took to go from GLM-5.3-Flash's first run on domestic accelerators to…
DịchGiáo sư Tang Jie chia sẻ cách Infra Agent hỗ trợ triển khai GLM-5.3-Flash trên chip nội địa, giúp tăng lưu lượng xử lý đầu cuối lên 3.2 lần chỉ sau 14 ngày.
Cùng sự kiện, bài đại diện «Zhipu AI tối ưu hóa hạ tầng suy luận cho GLM-5.3, tăng gấp 3 lần lưu lượng xử lý»Infinigence AI phối hợp cùng các đại học danh tiếng ra mắt APXInf, giúp giảm độ trễ suy luận từ 278ms xuống còn 26ms trên Jetson Thor, tối ưu hóa hiệu suất cho các hệ thống robot thông minh.
Nghiên cứu giới thiệu phương pháp dùng các 'register tokens' để lưu trữ trạng thái suy luận, giúp mô hình ngôn ngữ khuếch tán duy trì logic mạch lạc khi xử lý văn bản dài mà không cần giữ toàn bộ ngữ cảnh cũ.
SemiAnalysis@SemiAnalysis_BREAKING: AMD MI355X is quickly closing the perf/TCO gap in agentic inference, when compared to GB30…
DịchAMD MI355X đang rút ngắn đáng kể khoảng cách về hiệu năng và chi phí sở hữu (TCO) so với đối thủ GB300 của Nvidia trong các tác vụ suy luận AI, theo dữ liệu mới nhất từ SemiAnalysis.
NVIDIA Groq 3 LPX sử dụng mô hình thực thi xác định để tối ưu hóa lịch trình vận hành trên 256 chip LPU, kết hợp công nghệ PEP và CPS giúp giảm lãng phí điện năng, từ đó tăng cường hiệu suất suy luận cho kiến trúc Vera Rubin.
Ma Dongxi NLP@dongxi_nlpBài viết giải thích hai giai đoạn suy luận của LLM: Prefill xử lý song song đầu vào quyết định tốc độ phản hồi ban đầu (TTFT), trong khi Decode tạo văn bản từng token một và thường bị nghẽn băng thông bộ nhớ.
Omni-Streaming Thinking (OST) giúp mô hình AI phân tách dữ liệu thành bằng chứng và dự đoán, cho phép kiểm chứng thông tin theo thời gian thực để tránh sai sót khi xử lý dữ liệu đa phương thức.
MiniMax@MiniMax_AIH3 keeps getting faster. ⚡️ @sgl_project + VDN-H3 now push MiniMax H3 beyond 2× real-time denoising…
DịchMiniMax H3 tối ưu hóa quy trình tạo video 768p với thời gian khử nhiễu chỉ 6,9 giây, đạt hiệu suất vượt trội mà không làm giảm chất lượng hình ảnh so với mô hình gốc.
Dựa trên bài kiểm tra AgentX, hệ thống Vera Rubin NVL72 cho thấy hiệu suất suy luận vượt trội, đạt mức tối ưu gấp 67 lần so với GB300 Dynamo trong các tác vụ đòi hỏi thông lượng cao.
ActionSplice là khung suy luận mới giúp thay đổi hành động trong mô hình thế giới video mà không cần tính toán lại từ đầu, thông qua kỹ thuật vận chuyển trạng thái phản thực tế (CST) giúp tối ưu hóa tốc độ và độ chính xác.
karminski@karminski3Karminski đề xuất 3 nghiên cứu giải mã lý do mô hình 'Max' bị tụt hạng trong bài kiểm tra SWE-bench, đồng thời thảo luận về cách tối ưu hóa cơ chế dừng suy luận để đạt hiệu suất nén thông tin tối ưu.
karminski@karminski3Người dùng tranh luận về việc thiết lập cường độ suy luận trên DeepSeek-V4.1-Flash. Trong khi một số cho rằng cài đặt này không ảnh hưởng hiệu suất, tác giả dẫn chứng nghiên cứu DeepSeek-R1-Zero để khẳng định thời gian suy luận càng dài, năng lực giải quyết vấn đề càng cao.
SemiAnalysis lập luận rằng xu hướng tăng số lớp xếp chồng HBM đang đảo chiều. Thế hệ Rubin Ultra tiếp theo sẽ giảm dung lượng HBM từ 288GB xuống 192GB (8-hi) để tối ưu hóa hiệu suất suy luận.