要約
注目メカニズムを備えたシーケンス・トゥ・シーケンスモデルは、自然言語処理（NLP）の多様な課題において成功を収めてきたが、ドキュメント要約など、長大なソースシーケンスを扱うタスクではその処理速度がスケーラビリティに劣るという問題がある。本研究では、ドキュメントを階層的に読み込む新しい粗粒度から細粒度への注目モデルを提案する。このモデルは、まず粗粒度の注目メカニズムを用いてテキストの上位レベルの断片（chunk）を選択し、その後、選択された断片内の単語を細粒度の注目で読み込む。標準的な注目モデルの学習における計算量はソースシーケンス長に対して線形に増加するのに対し、本手法は上位レベルの断片数に比例して増加するため、より長大なシーケンスを扱うことが可能となる。実証的な評価において、粗粒度から細粒度への注目モデルは最先端のベースラインに比べて若干性能が劣るものの、生成過程においてドキュメントの部分集合に疎に注目するという望ましい振る舞いを実現していることが確認された。