強化自己注意ネットワーク：シーケンスモデリングのためのハードアテンションとソフトアテンションのハイブリッド

多くの自然言語処理タスクは、文内の少数のトークン間の疎な依存関係にのみ依存しています。ソフトアテンション機構は、各トークン間のソフト確率を用いて局所的/全体的な依存関係をモデル化する点で有望な性能を示していますが、長い文に対して適用すると効果的かつ効率的ではありません。一方、ハードアテンション機構は直接トークンの部分集合を選択しますが、その組み合わせ的な性質により訓練が困難で非効率的です。本論文では、これらの相互利益のために、ソフトアテンションとハードアテンションを統合したコンテキスト融合モデル「強化自己注意（ReSA）」を提案します。ReSAにおいて、ハードアテンションはシーケンスを切り詰め、ソフト自己注意が処理しやすくします。また、ソフトアテンションは報酬信号をフィードバックしてハードアテンションの訓練を支援します。この目的のために、「強化シーケンスサンプリング（RSS）」という新しいハードアテンションを開発しました。RSSは並列にトークンを選択し、ポリシー勾配法によって訓練されます。2つのRSSモジュールを使用することで、ReSAは選択された各トークン対間の疎な依存関係を効率的に抽出できます。最後に、RNN/CNNを使用しない文エンコーディングモデル「強化自己注意ネットワーク（ReSAN）」を提案します。これは完全にReSAに基づいて構築されており、Stanford Natural Language Inference (SNLI) データセットとSentences Involving Compositional Knowledge (SICK) データセットの両方で最先端の性能を達成しています。