要約
最近のニューラルネットワークアーキテクチャと学習アルゴリズムの進歩は、表現学習の有効性を示しています。ニューラルネットワークに基づくモデルは、従来のモデルよりも優れた表現を生成します。これらのモデルは、文章や文書の分散表現を自動的に学習する能力を持っています。この目的のために、私たちは以前に提案されたモデルが十分にモデリングしていないいくつかの問題（メモリ問題や文書構造の知識を取り入れる問題など）に対処する新しいモデルを提案しました。私たちのモデルでは、階層的な自己注意機構を使用して文章と文書の埋め込みを作成します。このアーキテクチャは文書の階層構造を反映し、より良い特徴表現を得ることを可能にします。注意機構は要約抽出に役立つ追加情報源を提供します。新モデルでは、要約タスクを分類問題として扱い、各文章が要約に属する確率を計算します。モデルの予測は、情報量、重要度、新規性、位置表現などの複数の特徴によって分割されます。提案されたモデルは、CNN / Daily Mail および DUC 2002 の2つの有名なデータセットで評価されました。実験結果は、私たちのモデルが現在の抽出型最前線手法よりも大幅に優れていることを示しています。