Nghiên cứu từ Epoch AI cho thấy GPT-5.6 có độ trễ TTFT tăng theo đường cong bậc hai khi ngữ cảnh dài, trong khi dòng Claude 5 duy trì hiệu suất gần như tuyến tính.
Vì sao đáng đọc: Nghiên cứu kỹ thuật chuyên sâu về hiệu năng mô hình, cung cấp cái nhìn thực tế cho người dùng và nhà phát triển về khả năng xử lý ngữ cảnh dài của các model hàng đầu.
WSJ: "Agentic AI creates two distinct computing challenges: efficiently processing enormous amounts …
DịchGroq 3 LPX tối ưu hóa quy trình làm việc của AI Agent bằng cách giảm độ trễ tích lũy thông qua trình biên dịch xác định và bộ nhớ SRAM 128GB, giúp xử lý hàng trăm bước suy luận tuần tự nhanh chóng hơn bao giờ hết.
Đội ngũ Ant Group và RadixArk đã tối ưu hóa mô hình Ling-3.0-flash, giúp tăng tốc độ giải mã đơn yêu cầu từ 288 lên 606 tok/s và giảm độ trễ TPOT xuống còn 1.53 ms nhờ kiến trúc MoE cải tiến.
Vì sao đáng đọc: Đây là một bước tiến kỹ thuật quan trọng trong việc tối ưu hóa suy luận mô hình MoE trên phần cứng Blackwell, mang lại giá trị thực tiễn cao cho cộng đồng kỹ thuật.
Jason Liu thông báo đã tối ưu hóa thành công, giúp giảm 50% độ trễ khung hình trên Codex Voice, hứa hẹn mang lại trải nghiệm tương tác mượt mà hơn đáng kể.
