HyperAIHyperAI

Command Palette

Search for a command to run...

データ多様化:ニューラル機械翻訳のためのシンプルな戦略

Xuan-Phi Nguyen Shafiq Joty Wu Kui Ai Ti Aw

概要

我々は、ニューラル機械翻訳(NMT)の性能を向上させるためのシンプルでありながら効果的な戦略として「データ多様化(Data Diversification)」を提案する。この手法は、複数の前向きモデルおよび後向きモデルの予測結果を用いて訓練データを多様化し、最終的なNMTモデルの学習に使用する元のデータセットと統合する。本手法はすべてのNMTモデルに適用可能であり、バックトランスレーションのように追加の単語語彙データを必要とせず、モデルアンサンブルのように計算量やパラメータ数を増加させることもない。実験の結果、WMT'14の英語-ドイツ語翻訳タスクおよび英語-フランス語翻訳タスクにおいて、それぞれ30.7および43.7という最先端のBLEUスコアを達成した。さらに、4つのIWSLTタスク(英語-ドイツ語および英語-フランス語)および4つの低リソース翻訳タスク(英語-ネパール語および英語-シンハラ語)においても顕著な性能向上が確認された。我々は、本手法が知識蒸留(knowledge distillation)やデュアル学習(dual learning)よりも優れた効果を発揮すること、モデルアンサンブルと強い相関関係を示すこと、また perplexity を犠牲にすることでより高いBLEUスコアを達成できることを実証した。本研究のソースコードは、https://github.com/nxphi47/data_diversification にて公開している。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています