NOTSOFAR-1: 단일 디바이스 원거리 회의 전사 데이터셋은 Microsoft에서 2025년에 공개한 데이터셋으로, 원거리 회의 전사 작업을 평가하기 위해 설계되었으며, 단일 디바이스 기반 원거리 음성 분리 및 전사 기술의 발전을 촉진하는 것을 목표로 합니다.

이 데이터셋에는 다양한 회의실, 화자 수, 마이크 구성 및 음향 환경을 포괄하는 실제 회의 녹음이 포함되어 있어 원거리 음성 수집, 다중 화자 중첩 음성 처리 및 회의 전사 연구를 수행하는 데 활용될 수 있습니다. 공식적으로는 연속 음성 분리(CSS), Whisper 기반 자동 음성 인식(ASR), NeMo 기반 화자 일지(speaker diarization) 모듈을 통합한 기본 시스템 코드도 제공되어, 연구자가 추론 파이프라인을 실행하고 모델 성능을 평가할 수 있도록 지원합니다.

데이터셋 구성

• 개발 세트(Dev-set): 단일 채널(Single-Channel) 및 다중 채널(Multi-Channel) 회의 녹음 데이터를 포함합니다. 단일 채널 세션은 177개, 다중 채널 세션은 106개입니다.
• 하위 세트 분류: 회의 시나리오와 소음 조건에 따라 데이터가 여러 하위 세트로 분류됩니다. 여기에는 자연스러운 회의(#NaturalMeeting), 토론 중 중첩 발화(#DebateOverlaps), 중첩 없는 발화 교대(#TurnsNoOverlap), 높은 순간적 소음(#TransientNoise=high), 화이트보드 근처에서의 발화(#TalkNearWhiteboard) 등이 포함됩니다.
• 기본 시스템 코드: 연속 음성 분리, Whisper 기반 ASR, NeMo 기반 화자 일지 모듈을 포함한 완전한 Python 기본 코드가 제공됩니다.
• 평가 지표: 순위 매기기에는 주로 화자 귀속 기반 tcpWER이 사용되며, tcORC-WER은 보조 분석 지표로 활용됩니다.
• 학습 데이터: 개발 세트 외에도 모델 학습 및 미세 조정을 위해 약 1,000시간 또는 200시간의 시뮬레이션 데이터를 포함하는 시뮬레이션 학습 세트(Simulated Training Set)가 제공됩니다.