음성 에이전트 이국어 인식 성능 벤치마크
AI 음성 에이전트의 이국어 코드 전환 처리 성능을 평가한 벤치마크 연구가 공개되었다. 전 세계 인구의 절반 이상이 복수 언어를 사용하며 기업 환경에서도 언어 자연 전환이 보편화됨에 따라 ASR 시스템의 정확한 전사는 다운스트림 작업 정확도를 좌우하는 핵심 단계다. 연구진은 인사 및 IT 서비스 관리 시나리오를 바탕으로 스페인어 영어 프랑스어 영어 캐나다 프랑스어 영어 독일어 영어 네 가지 언어 쌍을 대상으로 벤치마크와 데이터셋을 구축했다. 총 918건의 코어전환 화법을 생성하고 단어 오류율 의미론적 단어 오류율 답변 오류율 세 가지 지표를 통해 모델 성능을 다각도로 분석했다. 평가 결과 ElevenLabs의 Scribe V2 Google의 Gemini 3 Flash AssemblyAI의 Universal 3-Pro 가 전반적인 성능에서 최상위를 기록했다. 이들은 단일 언어 기준과 비교했을 때 코드 전환으로 인한 오류 증가폭이 가장 적었으며 특히 Scribe V2 는 이국어 기준보다 낮은 오류율을 보여 이국어 입력에 대한 견고함을 입증했다. 반면 OpenAI 의 Whisper Large V3 Turbo 는 명시적 언어 파라미터 미지정 시 영문 번역을 기본값으로 설정하는 한계로 인해 오류율이 크게 높게 나타났다. SWER 와 AER 지표는 전사 정확도와 하위 작업 수행 능력 간의 높은 상관관계를 보였으나 Deepgram 의 Nova-3 는 SWER 에서는 중상위권이나 AER 에서는 하위권으로 분포해 실제 업무 적용 시 의미 전달 손실이 발생할 수 있음을 시사했다. 오류 분석 모델은 언어 전환 횟수가 오류 발생 여부에 코드 믹싱 지수가 오류 규모에 가장 큰 영향을 미치는 변수로 확인했다. 특히 오류가 언어 전환 지점이 아니라 영어 부분에서 집중적으로 발생한다는 점은 임베디드 언어 구간이 음운 및 어휘 레지스터 변화를 요구하며 모델의 전환 적응 능력을 검증하는 과정으로 분석된다. 연구진은 코드 전환이 최첨단 ASR 시스템에게 더 이상 치명적 약점이 아니라 일상적인 작동 조건으로 자리 잡고 있음을 밝혔다. 다만 언어 쌍별 성능 편차가 크므로 기업은 실제 고객 구성에 맞는 ASR 벤치마크를 선행해야 한다. 정확한 전사는 고객 경험 향상과 업무 효율성 제고를 위한 필수 인프라이며 모델 선정 시 전사 정확도와 의미 보존 능력을 복합적으로 고려해야 한다.
