GRETEL：長文抽出要約のためのグラフコントラストトピック強化言語モデル

近年、ニューラルトピックモデル（NTM）が事前学習済み言語モデル（PLM）に統合され、テキスト要約においてグローバルな意味情報を捉えることが試みられている。しかし、これらの手法では、グローバルな意味情報をどのように捉え、統合するかという点で依然として限界が存在する。本論文では、グラフ対比トピックモデルと事前学習済み言語モデルを統合することで、長文の抽出型要約においてグローバルおよびローカルな文脈的意味情報を効果的に活用できる新たなモデル、グラフ対比トピック強化言語モデル（GRETEL）を提案する。グローバルな文書コンテキストと正解要約からの意味情報を融合するため、GRETELは階層的Transformerエンコーダとグラフ対比学習を組み合わせたグラフ対比トピックモデルを用いることで、PLMにグローバルな意味情報をより効果的に取り入れることを可能にする。これにより、最適でないトピックをカバーする冗長な文ではなく、正解要約とトピック的に関連する顕著な文を効率的に抽出するようモデルを促進する。汎用ドメインおよびバイオメディカルデータセットにおける実験結果から、提案手法が既存の最先端（SOTA）手法を上回ることを示した。