NVIDIA startet Echtzeit-Diarisierung mit Nemotron 3

NVIDIA hat mit Nemotron 3 Diarization ein neues Open-Weight-Modell zur automatischen Sprechererkennung vorgestellt. Das Modell mit 100 Millionen Parametern adressiert die Herausforderung, in mehrstimmigen Gesprächen präzise nachzuvollziehen, wer wann gesprochen hat. Es unterstützt bis zu acht Teilnehmer, verarbeitet überlappende Spracheingaben und ist sowohl für Offline-Verarbeitung als auch für Echtzeit-Streaming optimiert. Durch die Weiterentwicklung der Sortformer-Architektur ordnet das System neuen Stimmen stabile Kanäle nach ihrem ersten Auftreten zu. Dies eliminiert die Notwendigkeit einer ständigen Neuzuordnung von Sprecherlabels bei chunkbasierter Verarbeitung und gewährleistet konsistente Zuordnungen auch nach Pausen oder Unterbrechungen. In den Tests der VoiceArena Diarization-Bench belegte Nemotron 3 Diarization unter dreizehn englischsprachigen Evaluierungen den ersten Platz und erzielte eine Diarization Error Rate von 14,72 Prozent. Damit liegt das Modell deutlich vor der nächstplatzierten Lösung mit 19,3 Prozent. Im Vergleich zum bisherigen NVIDIA-Standardmodell für vier Sprecher reduziert es den durchschnittlichen Fehleranteil um rund 41 Prozent. Die Effizienz wurde durch einen Real-Time-Factor von bis zu 15.113 auf einem NVIDIA RTX PRO 5000 bestätigt. Entwickler können zwischen vier konfigurierten Latenzpunkten wählen, die von etwa 30,4 Sekunden für Offline-Anwendungen bis hin zu 0,32 Sekunden für ultra-niedrige Latenz reichen. Die Kombination mit automatischer Spracherkennung ermöglicht die Generierung von sprecherbezogenen Transkripten, die essentielle Informationen für Meeting-Zusammenfassungen, Action-Item-Extraktion oder die Speicherung von Voice-Agent-Memorials liefern. Partner wie Argmax haben die Integration bereits in die Pro SDK 3-Version übernommen und bieten eine vordiarierte Transkriptions-API an, die die Genauigkeit bei komplexen Überlappungen weiter steigert. Das Modell verarbeitet 16-kHz-Monoraudiodaten und benötigt NVIDIA-GPUs der Ampere-, Hopper- oder Blackwell-Serie. Lizenziert wird Nemotron 3 Diarization unter der OpenMDW-Lizenz in der Version 1.1. Die Veröffentlichung markiert einen signifikanten Schritt hin zu kosteneffizienten, echtzeitfähigen Lösungen für die Analyse mehrstimmiger Kommunikation in unternehmenskritischen Umgebungen.