다국어 음성 번역을 위한 경량 어댑터 튜닝

최근에 어댑터 모듈이 자연어처리(NLP) 분야에서 파인튜닝의 효율적인 대안으로 제안되었다. 어댑터 튜닝은 모델의 사전 훈련된 파라미터를 고정한 상태에서 층 간에 경량 모듈을 삽입함으로써, 작업에 특화된 학습 가능한 파라미터를 극소수만 추가하는 방식이다. 다국어 신경 기계 번역(NMT) 분야에서 어댑터 튜닝이 탐구된 바 있으나, 본 논문은 다국어 음성 번역(ST)을 위한 어댑터에 대해 종합적인 분석을 제안한다. 병렬 데이터를 기반으로 훈련된 다국어 ST 모델이나, 비병렬 다국어 데이터를 기반으로 훈련된 다국어 BART(mBART) 모델과 같은 다양한 사전 훈련된 모델을 기반으로, 어댑터를 사용함으로써 (a) 파라미터 추가 비용이 매우 낮은 수준에서 특정 언어 쌍에 대해 ST를 효율적으로 특화할 수 있으며, (b) 자동 음성 인식(ASR) 작업과 mBART 사전 훈련 모델로부터 다국어 ST 작업으로 전이 학습을 수행할 수 있음을 보여준다. 실험 결과, 어댑터 튜닝은 전체 파인튜닝과 경쟁 가능한 성능을 제공하면서도 훨씬 더 파라미터 효율적임을 확인하였다.