NVIDIA ra mắt mô hình Nemotron 3.5 Lightning

Tổng quan mô hình

Nhà phát triển mô hình: NVIDIA Corporation

Thời gian mô hình: Tháng 12 năm 2025 - Tháng 5 năm 2026

Độ mới của dữ liệu:

Nemotron là gì?

NVIDIA Nemotron™ là một dòng mô hình mở với trọng số, dữ liệu huấn luyện và công thức mở, mang lại hiệu suất và độ chính xác hàng đầu để xây dựng các tác nhân AI chuyên biệt.

Mô tả

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 là một mô hình ngôn ngữ lớn (LLM) được huấn luyện bởi NVIDIA.

Mô hình sử dụng kiến trúc Mixture-of-Experts (hỗn hợp chuyên gia) lai, tận dụng các lớp Mamba-2 và MoE xen kẽ, cùng với các lớp Attention được chọn lọc. Mô hình Lightning 3.5 được phát hành kèm theo một số phương pháp giải mã suy đoán (speculative decoding) để tạo văn bản nhanh hơn. Mô hình có 3 tỷ tham số hoạt động và tổng cộng 30 tỷ tham số.

Mô hình này sẵn sàng cho mục đích thương mại.

Bắt đầu nhanh

Để bắt đầu nhanh trên DGX Spark (GB10), bạn có thể sử dụng lệnh sau.

Tải mô hình:

Chạy mô hình với vLLM — công thức này sử dụng giải mã suy đoán DSpark, được tinh chỉnh cho DGX Spark. (vLLM Nightly: vllm/vllm-openai:v0.27.1)

Để biết thêm chi tiết về cách triển khai và sử dụng mô hình — hãy xem Hướng dẫn Bắt đầu Nhanh bên dưới!

Giấy phép/Điều khoản sử dụng

Điều khoản tải xuống chi phối: Việc sử dụng mô hình này được điều chỉnh bởi giấy phép mô hình OpenMDW-1.1.

Đánh giá điểm chuẩn suy luận

Chúng tôi đã đánh giá mô hình của mình trên các điểm chuẩn sau:

Các con số về độ chính xác được NVIDIA đo lường theo một bộ công cụ nhất quán (NeMo Gym / Nemo Evaluator SDK); chúng có thể khác với các con số do nhà cung cấp tự công bố.

Để đảm bảo tính tái lập, các công thức đánh giá, hướng dẫn cài đặt và lệnh cho NVIDIA Nemotron 3.5 Lightning đã được thu thập và công bố trong NeMo Gym. Các kết quả được báo cáo bao gồm bộ đánh giá phát hành, bao gồm kiến thức và suy luận, tuân thủ hướng dẫn, lập trình, tác nhân, sử dụng công cụ và ngữ cảnh dài. Hầu hết các đánh giá sử dụng bộ công cụ gốc của NeMo Gym, trong khi một tập hợp con nhỏ, bao gồm SWE-Bench và Terminal-Bench, sử dụng trực tiếp NeMo Evaluator. Các công thức được công bố chỉ định các container, câu lệnh (prompt), tham số suy luận, cấu hình trình phân tích cú pháp và cài đặt chấm điểm cụ thể cho từng điểm chuẩn được sử dụng để tạo ra kết quả.

Những con số này được đo lường và áp dụng cho checkpoint NVFP4 chính thức.

Điểm chuẩn lập trình tác nhân (Agentic Coding)

Các kết quả bổ sung ở cấp độ bộ công cụ cho tác nhân lập trình đối với SWE-Bench Verified và Terminal-Bench 2.1 được hiển thị bên dưới.

Trường hợp sử dụng

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 là mô hình suy luận và trò chuyện đa năng, dự kiến được sử dụng bằng tiếng Anh và các ngôn ngữ lập trình. Các ngôn ngữ không phải tiếng Anh khác (tiếng Tây Ban Nha, tiếng Pháp, tiếng Đức, tiếng Ý, tiếng Nhật) cũng được hỗ trợ. Dành cho các nhà phát triển thiết kế hệ thống tác nhân AI, chatbot, hệ thống RAG và các ứng dụng hỗ trợ AI khác. Cũng phù hợp cho các tác vụ tuân thủ hướng dẫn thông thường.

Ngày phát hành

Hugging Face — 08/11/2026

Thiết kế mô hình

Mô hình được tiền huấn luyện với hơn 20 nghìn tỷ token và hỗ trợ độ dài ngữ cảnh lên đến 1 triệu. Giai đoạn tiền huấn luyện sử dụng công thức NVFP4. Mô hình bao gồm các lớp Dự đoán đa token (Multi-Token Prediction - MTP), giúp dự đoán nhiều token tương lai để cung cấp tín hiệu huấn luyện phong phú hơn.

Phương pháp huấn luyện

Giai đoạn 1: Tiền huấn luyện

Giai đoạn 2: Tiếp tục tiền huấn luyện cho Dự đoán đa token (MTP)

Giai đoạn 3: Tinh chỉnh có giám sát (Supervised Fine-Tuning)

Giai đoạn 4: Học tăng cường (Reinforcement Learning)

Bài gốc còn tiếp — xem tiếp tại bài gốc ↗