2ヶ月前
注意を集中するか分散するかの学習:ニューラル機械翻訳のための自己適応的な注意温度
Junyang Lin; Xu Sun; Xuancheng Ren; Muyu Li; Qi Su

要約
多くのニューラル機械翻訳(NMT)モデルは、エンコーダー-デコーダーフレームワークにアテンションメカニズムを備えたシーケンス・トゥ・シーケンス(Seq2Seq)モデルに基づいています。しかし、従来のアテンションメカニズムでは、各時間ステップでのデコーディングが同じ行列で等しく扱われるため、問題があります。これは、異なる種類の単語(例:内容語と機能語)に対するアテンションの柔軟性が異なるべきであるという事実を無視しているからです。そこで、我々はアテンション温度によってアテンションの柔軟性を制御するメカニズムである自己適応的な温度制御(Self-Adaptive Control of Temperature: SACT)を持つ新しいモデルを提案します。中国語-英語翻訳および英語-ベトナム語翻訳における実験結果は、我々のモデルがベースラインモデルを上回ることを示しており、分析と事例研究も我々のモデルがソース側コンテキストの中で最も関連性の高い要素に注目し、高品質な翻訳を生成できることを示しています。