要約
本稿では、文書の階層構造（すなわち文-語の構造）をBARTモデル内で捉えることのできる新しい抽象的文書要約モデル、階層的BART（Hie-BART）を提案する。既存のBARTモデルは文書要約タスクにおいて最先端の性能を達成しているが、文レベルの情報と語レベルの情報の間の相互作用を考慮していないという課題を抱えている。機械翻訳タスクにおいては、複数の粒度の自己注意（multi-granularity self-attention: MG-SA）を導入することで、ニューラル機械翻訳モデルの性能が向上している。この先行研究に着想を得て、本稿で提案するHie-BARTモデルは、BARTモデルのエンコーダにMG-SAを組み込み、文と語の階層的構造を効果的に捉えることを可能にした。CNN/Daily Mailデータセットにおける評価結果から、提案モデルはいくつかの強力なベースラインを上回り、非階層的BARTモデルに対してROUGE-Lスコアで+0.23の性能向上を達成した。