HyperAIHyperAI

Command Palette

Search for a command to run...

多言語ニューラル機械翻訳の事前学習におけるアライメント情報の活用

Zehui Lin Xiao Pan Mingxuan Wang Xipeng Qiu Jiangtao Feng Hao Zhou Lei Li

概要

機械翻訳(MT)に関する以下の問いに着目します:任意の言語対に対して、汎用的なMTモデルを1つ構築し、そのモデルを共通の基盤として、さまざまな言語対に対して派生的かつ改良されたモデルを生成することは可能か?本研究では、汎用多言語ニューラル機械翻訳モデルを事前学習するためのmRASPというアプローチを提案する。mRASPの核心となるアイデアは、「ランダム対応置換」という新規な技術であり、これにより複数の言語間で意味が類似する語や表現が、表現空間上においてより近接するようにエンコードされる。我々は、32の言語対を統合的に事前学習する際に、公に提供されているデータセットのみを用いてmRASPモデルを学習した。その後、下流の言語対に対して微調整(fine-tuning)を実施することで、専門化されたMTモデルを獲得する。多様な設定(低リソース、中程度リソース、豊富なリソース言語対、および非伝統的言語対への転移)における42の翻訳方向について、広範な実験を実施した。実験結果から、mRASPは対象言語対に対して直接学習を行う場合と比較して、顕著な性能向上を達成することが示された。これは、複数の低リソース言語対を活用して豊富なリソースを持つ言語対の翻訳性能を向上させることの可能性を初めて実証した。驚くべきことに、mRASPは事前学習コーパスに登場しなかった「非伝統的」言語に対しても、翻訳品質の向上をもたらすことが明らかになった。コード、データ、および事前学習済みモデルは、https://github.com/linzehui/mRASP にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています