HyperAIHyperAI

Command Palette

Search for a command to run...

大規模な単言語データの活用によるニューラル機械翻訳

Jian-Huang Lai Tie-Yan Liu Yiren Wang Tao Qin Lijun Wu Yingce Xia

概要

ターゲット側の単言語データは、バックトランスレーションを通じてニューラル機械翻訳(以下、NMT)の性能向上に非常に有効であることが実証されているが、ソース側の単言語データについては十分に調査されていない。本研究では、ソース側およびターゲット側の両方の単言語データをNMTに活用する方法を検討し、それらを効果的に統合する戦略を提案する。まず、本物の双語テキスト(bitext)で事前学習されたモデルを用いて、両ドメインの単言語データを相互に翻訳し、合成された双語データ(synthetic bitext)を生成する。次に、これらの合成データを連結したものをノイズを加えたバージョンで用いてモデルを学習する。ここで、各ソースシーケンスはランダムに破損(corruption)される。最後に、モデルは本物の双語データおよび合成データの一部のクリーンなバージョン(ノイズを加えない)上でファインチューニングを行う。本手法は、WMT16、WMT17、WMT18の英語↔ドイツ語翻訳およびWMT19のドイツ語→フランス語翻訳において、最先端の性能を達成した。これにより、本手法の有効性が実証された。さらに、パイプライン内の各構成要素がどのように機能するかについて、包括的な分析も実施した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
大規模な単言語データの活用によるニューラル機械翻訳 | 記事 | HyperAI超神経