オンラインおよび線形時間の注意を強制的な単調アライメントによって実現する

注意メカニズムを備えた再帰型ニューラルネットワークモデルは、様々なシーケンス・ツー・シーケンス問題において非常に効果的であることが証明されています。しかし、ソフトアテンションメカニズムが出力シーケンスの各要素を生成する際に入力シーケンス全体を走査することから、オンライン設定での使用が制限され、計算時間の複雑さが二次関数的になるという問題があります。多くの興味深い問題で入力と出力シーケンス要素間の対応関係が単調であるという洞察に基づき、テスト時にオンラインかつ線形時間でアテンションを計算できるようにする単調アライメントの学習方法を提案します。この方法はエンドツーエンド微分可能であり、我々は文要約、機械翻訳、およびオンライン音声認識の問題で当該手法の有効性を検証し、既存のシーケンス・ツー・シーケンスモデルと競合する結果を得ました。