HyperAIHyperAI

Command Palette

Search for a command to run...

Open ASR 리더보드, Benchmaxxer Repellant 추가

Open ASR 리더보드는 악용 위험을 막기 위해 고음질 비공개 평가 데이터를 도입했습니다. 앱엔 (Appen) 과 데이터오션 AI (DataoceanAI) 와 협력하여 영어 스크립트 및 대화형 음성을 포함하는 다양한 억양과 스타일의 고품질 데이터를 확보했습니다. 기존 공개 데이터셋은 평균 WER (단어 오율) 계산의 기준이 되며, 새로운 비공개 데이터셋은 사용자가 선택적으로 활성화하여 모델의 실제 강건성을 확인하는 용도로만 사용됩니다. 2023 년 9 월 출범 이후 71 만 건 이상의 방문자를 기록한 이 리더보드의 핵심 목표는 표준화와 개방성입니다. 모든 테스트 세트는 허브에 통합되어 접근성이 개선되었으며, 모델 출력과 전사 내용을 일관되게 맞추기 위해 Whisper 의 정교화기를 기준으로 합니다. 하지만 표준화된 벤치마크는 모델 개발자들이 점수를 높이기 위해 특정 데이터셋에 과적합되는 '벤치맥싱' 현상을 유발할 수 있습니다. 이를 방지하고 실제 환경에서의 성능을 더 정확히 반영하기 위해 비공개 데이터셋을 도입한 것입니다. 새로운 데이터셋은 호주, 캐나다, 인도, 미국, 영국 억양을 아우르며 읽기 형식과 자발적 대화 형식을 모두 포함합니다. 특히 대화형 데이터는 문장 부호와 대소문자를 유지하면서 유창하지 않은 표현까지 포함되어 있어 보다 현실적인 평가를 가능하게 합니다. 개발자들은 특정 데이터 공급업체의 정보를 미리 접할 경우 우위를 점할 수 있다는 우려를 경계하여, 주요 데이터 공급사들에게 이 데이터의 배부를 제한하도록 요청했습니다. 여러 공급사를 활용함으로써 특정 공급사의 데이터에 의존하는 편향을 최소화했습니다. 평가 시스템은 기존 공개 데이터셋 결과를 바탕으로 순위가 산정되며, 비공개 데이터셋은 별도의 탭에서 토글하여 확인할 수 있습니다. 이를 통해 사용자는 특정 용도에 맞는 모델 성능을 직접 비교할 수 있습니다. 모델 등록은 여전히 GitHub 를 통해 풀 리퀘스트를 생성하며, 공개 데이터셋 검증 후 비공개 데이터셋에 대한 점수가 계산되는 구조로 유지됩니다. 현재 평균 WER 계산에서 비공개 데이터셋은 기본적으로 제외되며, 필요 시에만 포함하여 순위 변동량을 확인할 수 있습니다. 향후 리더보드는 현실적인 잡음 환경 평가 등 추가적인 평가 지표를 도입할 계획이며, 커뮤니티의 피드백을 바탕으로 지속적으로 개선될 예정입니다. 이 같은 조치는 단순한 점수 경쟁을 넘어 실제 응용 분야에 최적화된 ASR 모델을 발굴하고, 다양한 억양과 상황에서의 성능 격차를 명확히 제시하는 데 기여할 것입니다.

관련 링크