GenTranslate: 대규모 언어 모델은 생성형 다국어 음성 및 기계 번역기이다.

최근 대규모 언어 모델(LLM)의 발전은 표현 오류 감소와 외부 지식의 통합을 통해 다국어 음성 및 기계 번역 분야의 발전을 촉진해왔다. 그러나 이러한 번역 작업들은 일반적으로 추론 과정에서 범위 탐색(beam search)과 상위 1개 가설(top-1 hypothesis) 선택 기법을 사용한다. 이러한 기법은 다양한 N-best 가설들에 포함된 풍부한 정보를 충분히 활용하지 못하여, 단일 고품질 출력 시퀀스를 요구하는 번역 작업에 있어 최적의 성능을 발휘하기 어렵다. 본 논문에서는 LLM을 기반으로 하여 N-best 목록 내 다양한 번역 버전에서 더 나은 결과를 도출할 수 있는 새로운 생성형 번역 패러다임인 ‘GenTranslate’를 제안한다. LLM의 풍부한 언어 지식과 강력한 추론 능력을 활용함으로써, 본 새로운 패러다임은 N-best 후보들 간의 풍부한 정보를 통합하여 보다 고품질의 번역 결과를 생성할 수 있다. 또한 LLM의 미세조정(finetuning)을 지원하기 위해 11개 언어에서 59만 개 이상의 가설-번역 쌍을 포함한 HypoTranslate 데이터셋을 구축하고 공개하였다. 다양한 음성 및 기계 번역 벤치마크(FLEURS, CoVoST-2, WMT 등)에서의 실험 결과, GenTranslate가 기존 최고 수준의 모델보다 유의미하게 우수한 성능을 보였다.