Chip AI Jalapeño của OpenAI: Hiệu suất suy luận vượt mặt Nvidia Blackwell

Tại hội nghị Hot Chips vào thứ Ba, OpenAI đã chia sẻ cái nhìn chi tiết hơn về Jalapeño, bao gồm loạt kết quả benchmark đầu tiên cho hệ thống mới này. Khi được thử nghiệm trên benchmark InferenceX của Semianalysis, Jalapeño đã ghi nhận cả số lượng token trên mỗi người dùng lẫn lưu lượng xử lý trên mỗi kilowatt đều cao hơn so với các bộ xử lý suy luận tiên tiến nhất hiện có trên thị trường.

“Điểm mấu chốt là kết quả cho thấy một bước tiến vượt bậc về hiệu năng so với các công nghệ tiên tiến nhất hiện nay,” Richard Ho, giám đốc phần cứng của OpenAI, cho biết trong một cuộc họp báo. “Jalapeño có thể xử lý khối lượng công việc AI lớn hơn trên mỗi đơn vị năng lượng, đồng thời phản hồi nhanh hơn. Nó cực kỳ hiệu quả để phục vụ lượng lớn khách hàng, nhưng cũng có thể đạt độ trễ rất thấp.”

Đáng chú ý, sự so sánh đó được thực hiện với hệ thống Nvidia Blackwell — nhưng đến thời điểm Jalapeño được triển khai đầy đủ, các đối thủ cạnh tranh có thể đã đạt được những bước tiến đáng kể. Ho ước tính rằng Jalapeño sẽ được triển khai vào cuối năm 2026 với “số lượng rất nhỏ”, và việc triển khai quy mô lớn hơn sẽ diễn ra vào năm 2027.

Được công bố lần đầu vào tháng 10 năm ngoái, Jalapeño được OpenAI phát triển với sự hợp tác chặt chẽ cùng Broadcom, trong đó các mô hình của chính OpenAI đã hỗ trợ cho quá trình phát triển. Công ty có kế hoạch biến Jalapeño thành một nền tảng đa thế hệ, cho phép các sản phẩm AI, mô hình, chip và bộ nhớ đều được phát triển đồng bộ với nhau.

Nhờ cách tiếp cận toàn diện (full-stack) này, OpenAI đã có thể giải quyết các giai đoạn cụ thể trong quá trình suy luận vốn thường gây ra trở ngại khi xử lý. Cụ thể, Jalapeño được thiết kế để giảm thiểu độ trễ trong các giai đoạn tiền xử lý (prefill) và truyền tải dữ liệu, những khâu mà OpenAI cho biết thường đóng vai trò là điểm nghẽn.

“Chúng tôi thiết kế Jalapeño để giảm thiểu việc di chuyển dữ liệu và độ trễ truyền tải,” công ty cho biết trong một bài đăng trên blog trình bày các kết quả. “Điều này có nghĩa là trạng thái mô hình, bao gồm cả bộ nhớ đệm KV (KV cache) được sử dụng trong khi tạo phản hồi, có thể được đặt một cách rõ ràng và giữ ở mức cục bộ, trong khi hệ thống kích hoạt sự kết hợp phù hợp giữa tính toán, bộ nhớ và kết nối mạng cho từng giai đoạn suy luận.”

Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể nhận được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập trong biên tập của chúng tôi.

Russell Brandom đã đưa tin về ngành công nghệ từ năm 2012, tập trung vào chính sách nền tảng và các công nghệ mới nổi. Trước đây, anh từng làm việc tại The Verge và Rest of World, đồng thời đã viết bài cho Wired, The Awl và Technology Review của MIT. Bạn có thể liên hệ với anh ấy qua email [email protected] hoặc qua Signal theo số 412-401-5489.

Xem tiểu sử