Command Palette
Search for a command to run...
データ多様化:ニューラル機械翻訳のためのシンプルな戦略
データ多様化:ニューラル機械翻訳のためのシンプルな戦略
Xuan-Phi Nguyen Shafiq Joty Wu Kui Ai Ti Aw
概要
我々は、ニューラル機械翻訳(NMT)の性能を向上させるためのシンプルでありながら効果的な戦略として「データ多様化(Data Diversification)」を提案する。この手法は、複数の前向きモデルおよび後向きモデルの予測結果を用いて訓練データを多様化し、最終的なNMTモデルの学習に使用する元のデータセットと統合する。本手法はすべてのNMTモデルに適用可能であり、バックトランスレーションのように追加の単語語彙データを必要とせず、モデルアンサンブルのように計算量やパラメータ数を増加させることもない。実験の結果、WMT'14の英語-ドイツ語翻訳タスクおよび英語-フランス語翻訳タスクにおいて、それぞれ30.7および43.7という最先端のBLEUスコアを達成した。さらに、4つのIWSLTタスク(英語-ドイツ語および英語-フランス語)および4つの低リソース翻訳タスク(英語-ネパール語および英語-シンハラ語)においても顕著な性能向上が確認された。我々は、本手法が知識蒸留(knowledge distillation)やデュアル学習(dual learning)よりも優れた効果を発揮すること、モデルアンサンブルと強い相関関係を示すこと、また perplexity を犠牲にすることでより高いBLEUスコアを達成できることを実証した。本研究のソースコードは、https://github.com/nxphi47/data_diversification にて公開している。