Nvidia ra mắt mô hình mã nguồn mở Nemotron 3 Diarization: Phân tách giọng nói thời gian thực cho 8 người

Chuyển đến nội dung

27 tháng 9, 2026

Nvidia đã phát hành Nemotron 3 Diarization, một mô hình AI có khả năng xác định ai là người đang nói tại bất kỳ thời điểm nào trong một cuộc hội thoại. Mô hình này có khoảng 100 triệu tham số và trọng số của nó được cung cấp miễn phí. Nó có thể phân biệt tối đa tám người nói và phát hiện khi nhiều người nói cùng một lúc. Số lượng người tham gia đông hơn, tiếng ồn nền lớn hoặc tiếng vang sẽ làm tăng tỷ lệ lỗi. Khi kết hợp với một hệ thống nhận dạng giọng nói như Parakeet, mô hình có thể tạo ra các bản ghi có gắn nhãn người nói, mặc dù chỉ là các nhãn ẩn danh như "speaker_2". Nó hoạt động với cả bản ghi âm và âm thanh trực tiếp.

Bộ đệm âm thanh có thể được thiết lập ở bốn mức, từ 30,4 giây xuống còn 0,32 giây. Bộ đệm ngắn hơn thường làm giảm độ chính xác. Trên Diarization-Bench từ VoiceArena, mô hình hiện đang đứng ở vị trí đầu tiên với tỷ lệ lỗi 14,72%, vượt xa hệ thống tốt thứ hai với 19,3%. Điểm chuẩn này rất nghiêm ngặt. Giọng nói chồng chéo được tính là lỗi, và ngay cả những sai lệch nhỏ nhất khi chuyển đổi người nói cũng bị tính là lỗi. So với phiên bản tiền nhiệm là Streaming Sortformer, mô hình mới giúp giảm tỷ lệ lỗi trung bình 41% trên tám kịch bản thử nghiệm khi sử dụng bộ đệm 1,04 giây.

Tin tức AI không thổi phồng – Được tuyển chọn bởi con người

Đăng ký THE DECODER để đọc không quảng cáo, nhận bản tin AI hàng tuần, báo cáo chuyên sâu "AI Radar" độc quyền sáu lần một năm, quyền truy cập toàn bộ kho lưu trữ và tham gia phần bình luận.

Đăng ký ngay