HyperAIHyperAI

Command Palette

Search for a command to run...

非監督ニューラル機械翻訳におけるSMTを用いた事後正則化

Shuo Ren†* Zhirui Zhang† Shujie Liu§ Ming Zhou§ Shuai Ma†

概要

実際の双方向コーパスが利用できない場合、非監督型ニューラル機械翻訳(NMT)は通常、モデル訓練のためにバック翻訳手法で生成された擬似並行データを必要とします。しかし、弱い監督のため、擬似データにはノイズや誤りが含まれることが避けられず、これらのノイズや誤りは後続の訓練プロセスで累積され、強化されるため、翻訳性能が悪化する可能性があります。この問題に対処するために、我々はノイジーなデータに堅牢であるフレーズベースの統計的機械翻訳(SMT)モデルを導入し、反復的なバック翻訳プロセスにおける非監督型NMTモデルの訓練をガイドするための事後正則化として使用します。我々の方法は、事前学習済み言語モデルを使用して構築されたSMTモデルと、クロスリンガル埋め込みから推論された単語レベルの翻訳表に基づいて開始されます。その後、SMTとNMTモデルは統一されたEMフレームワーク内で共同で最適化され、互いに段階的に強化されます。これにより、(1) 反復的なバック翻訳プロセスで発生するエラーによる負の影響が、SMTのフレーズテーブルからのノイズフィルタリングによってタイムリーに軽減されるとともに、(2) NMTはSMTに内在する流暢性の欠如を補完することができます。英仏(en-fr)および英独(en-de)翻訳タスクでの実験結果によると、我々の方法は強力な基準を超えており、新しい最先端の非監督型機械翻訳性能を達成しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています