要約
勾配ペナルティを搭載した要約生成モデルは、過学習を回避し、モデルの安定性を向上させる。しかし、従来の勾配ペナルティには以下の2つの課題がある：(i) 勾配の二度の計算により訓練時間が増加すること、および (ii) ノイズ因子（擾乱因子）の最適値を求めるために繰り返し試行が必要となること。こうした問題を解決するため、類似度計算を組み込んだステップバイステップ勾配ペナルティモデル（S2SGP）を提案する。まず、要約生成モデルにステップバイステップ勾配ペナルティを適用することで、精度を損なわずに訓練時間を効果的に短縮する。次に、正解要約と候補要約との類似度スコアを擾乱因子として用いる。提案手法の有効性を検証するため、4つの要約生成データセット上で実験を実施した。そのうち、EDUSumデータセットは本研究で新たに作成したものである。実験結果から、S2SGPは訓練時間を顕著に削減でき、擾乱因子の最適値を繰り返し試行することなく設定可能であることが示された。特に、CSLデータセットにおける評価では、ベースラインモデルに対して2.4 ROUGE-L点以上優れた性能を達成した。