多言語音声翻訳における軽量アダプタチューニング

最近、自然言語処理（NLP）におけるファインチューニングの効率的な代替手段として、アダプタモジュールが導入された。アダプタチューニングは、モデルの事前学習済みパラメータを固定した上で、層の間に軽量なモジュールを挿入する手法であり、タスク固有のトレーニング可能なパラメータをわずかに追加するだけで済む。これまでアダプタチューニングは多言語ニューラル機械翻訳（NMT）の分野で検討されてきたが、本論文では多言語音声翻訳（ST）におけるアダプタの包括的な分析を提案する。異なる事前学習モデル（並列データ上で学習された多言語STモデル、または非並列な多言語データ上で学習された多言語BART（mBART））を用いて、アダプタが以下の2つの目的に効果的に利用できることを示す：（a）パラメータ増加量が最小限に抑えられる条件下で、特定の言語対に特化した音声翻訳モデルを効率的に構築可能であること、（b）自動音声認識（ASR）タスクおよびmBART事前学習モデルから多言語STタスクへの転移学習が可能であること。実験の結果、アダプタチューニングは完全なファインチューニングと同等の性能を達成しつつ、はるかにパラメータ効率が優れていることが確認された。