NVIDIA, 실시간 다중 화자 다이어라이제이션 모델 'Nemotron 3' 공개

NVIDIA가 오픈 가중치 기반 화자 분할(Speaker Diarization) 모델인 네모트론 3 다이어리제이션을 공개하며 실시간 다중 화자 음성 인식 기술의 기준을 재정의했다. 1억 파라미터 규모로 구성된 이 모델은 VoiceArena 다이어리제이션 벤치마크에서 14.72%의 화자 분할 오류율(DER)을 기록하며 전체 참가 시스템 중 1위를 차지했다. 기존 4명 지원 모델을 확장해 최대 8명까지의 동시 대화를 처리할 수 있으며, 중첩된 음성 환경과 실시간 스트리밍 조건에서도 높은 정확도와 처리 효율을 유지한다. 모델은 Sortformer 아키텍처를 기반으로 화자가 처음 발화하는 순서에 따라 채널을 고정하는 방식을 채택했다. 이 접근법은 녹음을 분절해 처리할 때 발생할 수 있는 화자 라벨의 순서 변경 문제를 근본적으로 해결하며, 일관된 화자 식별을 가능하게 한다. 16kHz 단채널 오디오를 멜스펙트로그램으로 변환한 후 31층 트랜스포머 인코더를 통과시켜 화자 활동 확률 텐서를 생성하며, FIFO 큐와 화자 캐시를 결합해 실시간 지연 시간과 정확도 간의 균형을 유연하게 제어한다. 개발자는 30.4초의 오프라인 스타일부터 0.32초의 초저지연 스트리밍까지 4가지 구성 포인트 중 애플리케이션 요구사항에 맞게 선택할 수 있다. 성능 검증 결과, 1.04초 입력 버퍼 기준 8개 공개 데이터셋 평균 DER가 전작 대비 약 40% 상대적 감소했으며, 특히 5인 이상 다중 화자 환경에서 성능 격차가 두드러졌다. 배치 기반 추론 시 RTX GPU 환경에서 30.4초 설정 기준 초당 15,113배의 실시간 계수(RTFx)를 달성해 효율적인 확장성을 입증했다. 단순 화자 활동 감지를 넘어, 자동 음성 인식(ASR) 엔진과 결합하면 발화 시간표와 텍스트를 정밀하게 매핑하는 화자 Attribution 파이프라인을 구축할 수 있다. 이는 미팅 요약, 고객 상담 분석, 음성 에이전트 메모리 구성 등 대화 기반 AI 애플리케이션의 신뢰성과 실용성을 크게 높인다. 생태계 지원도 빠르게 확대되고 있다. Argmax Pro SDK 3 등이 이미 네모트론 3 다이어리제이션을 채택해 사전 다이어리제이션 전사 API를 제공하며, 리눅스 환경과 NVIDIA Ampere 이후 GPU에서 OpenMDW 라이선스 v1.1 하에 공식 배포되고 있다. 네모 툴킷을 통한 빠른 통합 가이드와 실시간 데모 환경을 제공해 개발자의 프로토타이핑을 지원하며, 복잡한 실제 음성 환경에서도 안정적인 화자 추적과 정확한 전사 결과물을 제공하는 차세대 음성 AI 인프라로 자리매김하고 있다.