要約
Transformerをベースとする言語モデルは通常、テキストを線形シーケンスとして扱います。しかし、ほとんどのテキストには固有の階層構造が存在し、テキストの一部はこの階層構造内の位置によって特定することができます。さらに、セクションタイトルは通常、それらに属する文の共通トピックを示しています。本研究では、事前学習済みのエンコーダーのみのTransformer言語モデル（HiStruct+モデル）に基づいて、階層構造情報を明示的に抽出し、符号化し、注入する新しい手法を提案します。これにより、PubMedおよびarXivでの抽出型要約におけるSOTA（State-of-the-Art）ROUGEスコアが大幅に向上しました。3つのデータセット（CNN/DailyMail、PubMedおよびarXiv）を用いた様々な実験設定において、当社のHiStruct+モデルは強力な基準モデルを総合的に上回りました。この基準モデルは当社のモデルと比較して唯一異なる点が階層構造情報の注入がないことです。また、データセットが持つ階層構造がより明確であるほど、当社の手法による改善幅も大きくなることが観察されました。削除実験（ablation study）では、階層的な位置情報が当社モデルのSOTA性能への主要な貢献者であることが示されています。