Command Palette

Search for a command to run...

4ヶ月前

テキスト要約生成のためのステップバイステップ勾配ペナルティと類似度計算

{Shuai Zhao}

要約

勾配ペナルティを搭載した要約生成モデルは、過学習を回避し、モデルの安定性を向上させる。しかし、従来の勾配ペナルティには以下の2つの課題がある:(i) 勾配の二度の計算により訓練時間が増加すること、および (ii) ノイズ因子(擾乱因子)の最適値を求めるために繰り返し試行が必要となること。こうした問題を解決するため、類似度計算を組み込んだステップバイステップ勾配ペナルティモデル(S2SGP)を提案する。まず、要約生成モデルにステップバイステップ勾配ペナルティを適用することで、精度を損なわずに訓練時間を効果的に短縮する。次に、正解要約と候補要約との類似度スコアを擾乱因子として用いる。提案手法の有効性を検証するため、4つの要約生成データセット上で実験を実施した。そのうち、EDUSumデータセットは本研究で新たに作成したものである。実験結果から、S2SGPは訓練時間を顕著に削減でき、擾乱因子の最適値を繰り返し試行することなく設定可能であることが示された。特に、CSLデータセットにおける評価では、ベースラインモデルに対して2.4 ROUGE-L点以上優れた性能を達成した。

ベンチマーク

ベンチマーク方法論指標
abstractive-text-summarization-on-edusumSeq2seq
ROUGE-1: 48.62
ROUGE-2: 32.32
ROUGE-L: 44.13
abstractive-text-summarization-on-edusumNEZHA
ROUGE-1: 63.91
ROUGE-2: 51.88
ROUGE-L: 61.00
abstractive-text-summarization-on-edusumBERT
ROUGE-1: 62.37
ROUGE-2: 50.70
ROUGE-L: 59.40
abstractive-text-summarization-on-edusumRoBERTa
ROUGE-1: 63.22
ROUGE-2: 51.34
ROUGE-L: 60.26
abstractive-text-summarization-on-edusumGP_Step_Sim
ROUGE-1: 64.48
ROUGE-2: 52.70
ROUGE-L: 61.91

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
テキスト要約生成のためのステップバイステップ勾配ペナルティと類似度計算 | 論文 | HyperAI超神経