Command Palette

Search for a command to run...

4ヶ月前

GenCompareSum:重要性を活用したハイブリッド非教師付き要約手法

{Sophia Ananiadou Qianqian Xie Jennifer Bishop}

GenCompareSum:重要性を活用したハイブリッド非教師付き要約手法

要約

テキスト要約(Text Summarization, TS)は自然言語処理(NLP)における重要なタスクである。事前学習された言語モデル(Pre-trained Language Models, PLMs)は、TSの性能向上に活用されてきた。しかし、PLMsはラベル付きの学習データの必要性や、長文処理に不向きなアテンション機構という制約を抱えており、特に長文文書への適用において限界がある。このような課題に対応するため、本研究では、要約の抽出型と抽象型の特徴を統合した、無教師学習型のハイブリッドアプローチを提案する。本手法では、文書を走査しながら、その主要なポイントを代表する顕著なテキスト断片(salient textual fragments)を生成する。その後、生成された断片と文書内の各文との類似度をBERTScoreを用いて計算し、最も類似度の高い文を重要文として選定することで、抽出型要約を実現する。本研究では、生命科学および一般科学分野に属する文書を対象として、顕著なテキスト断片の生成と利用が抽出型要約の効果に与える影響を評価した。さらに、異なる生成モデル(関連する質問や文書タイトルを生成するように微調整されたモデル)を用いて、長文と短文の文書における性能を比較した。その結果、大量のラベル付き学習データを必要とせずに、従来の無教師学習手法や最先端の教師あり手法を上回る性能を達成することが示された。

ベンチマーク

ベンチマーク方法論指標
text-summarization-on-arxivGenCompareSum
ROUGE-1: 39.96
ROUGE-2: 15.15
ROUGE-L: 36.19
text-summarization-on-cord-19GenCompareSum
ROUGE-1: 41.02
ROUGE-2: 13.79
ROUGE-L: 37.25
text-summarization-on-pubmed-1GenCompareSum
ROUGE-1: 42.10
ROUGE-2: 16.51
ROUGE-L: 38.25
text-summarization-on-s2orcGenCompareSum
ROUGE-1: 43.39
ROUGE-2: 16.84
ROUGE-L: 39.82

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
GenCompareSum:重要性を活用したハイブリッド非教師付き要約手法 | 論文 | HyperAI超神経