要約
アテンションを用いたRNNベースのエンコーダー-デコーダーモデルは、抽象的要約において短い入力と出力シーケンスに対して良好な性能を達成しています。しかし、より長い文書や要約については、これらのモデルがしばしば反復的で一貫性のないフレーズを含むことがあります。本研究では、入力と連続的に生成される出力を別々に注意する新しい内部アテンション機構を持つニューラルネットワークモデルを提案し、標準的な教師あり単語予測と強化学習（Reinforcement Learning, RL）を組み合わせた新たな訓練方法を導入します。教師あり学習のみで訓練されたモデルは、「露出バイアス」(exposure bias) を示すことがよくあります - つまり、訓練中に各ステップで真実値が提供されることを前提としています。しかし、標準的な単語予測とRLの全体的なシーケンス予測訓練を組み合わせることで、生成される要約の読みやすさが向上します。本モデルはCNN/Daily Mailデータセットおよびニューヨーク・タイムズデータセットで評価されました。当該モデルはCNN/Daily Mailデータセットにおいて41.16のROUGE-1スコアを得ており、従来の最先端モデルよりも改善しています。また、人間による評価でも当該モデルがより高品質な要約を生成することが示されています。