要約
ニューラル機械翻訳（NMT）は、広範な研究と開発を経て、自然言語処理分野における重要な技術として確立された。しかし、高品質な双方向言語ペアデータの不足は、NMTの性能向上に大きな課題を残している。近年の研究では、事前学習言語モデル（PLM）から得られる文脈情報を活用することでこの課題に対処する試みが進められている。しかしながら、PLMとNMTモデルの間の互換性の欠如という問題は未解決のままとなっている。本研究では、こうした問題を克服するため、PLM統合型NMT（PiNMT）モデルを提案する。PiNMTモデルは、PLMマルチレイヤ変換器、埋め込み融合、コサインアライメントの3つの重要な構成要素から構成されており、それぞれがNMTに効果的なPLM情報を供給する上で不可欠な役割を果たしている。さらに、本論文では、分離学習率と二段階学習という2つの訓練戦略も導入している。提案するPiNMTモデルおよび訓練戦略を採用した結果、IWSLT'14 En↔Deデータセットにおいて最先端の性能を達成した。本研究の成果は、PLMとNMTを効率的に統合する新たなアプローチを示しており、互換性の問題を克服し、性能を向上させる可能性を実証した点で注目される。