2ヶ月前

強化されたトピック意識型畳み込みシーケンス・ツー・シーケンスモデルによる抽象的文書要約

Li Wang; Junlin Yao; Yunzhe Tao; Li Zhong; Wei Liu; Qiang Du
強化されたトピック意識型畳み込みシーケンス・ツー・シーケンスモデルによる抽象的文書要約
要約

本論文では、トピック情報を畳み込み系列対系列(ConvS2S)モデルに組み込み、自己批判的系列訓練(SCST)を用いて最適化する深層学習アプローチを提案します。トピックと単語レベルのアライメントに共同で注目することで、当該手法は偏った確率生成メカニズムを通じて生成された要約の一貫性、多様性、情報量を向上させることができます。一方、強化学習であるSCSTは、非微分可能な指標ROUGEに対して直接的に提案モデルを最適化し、推論時の露出バイアスも回避します。我々はGigaword、DUC-2004、LCSTSデータセットを用いて最先端の手法との実験評価を行いました。経験的な結果は、当該手法が抽象的要約において優れていることを示しています。

強化されたトピック意識型畳み込みシーケンス・ツー・シーケンスモデルによる抽象的文書要約 | 最新論文 | HyperAI超神経