Salient Information Prompting to Steer Content in Prompt-based Abstractive Summarization 注目情報のプロンプティングによる内容制御に関する研究 — プロンプトベースの抽象的要約において

大規模言語モデル（LLMs）は、プロンプト技術を用いて様々な分野で流暢な要約を生成することができ、要約アプリケーションのためのモデルの訓練の必要性を軽減します。しかし、適切な詳細レベルと書き方スタイルをガイドする効果的なプロンプトを作成することは依然として課題となっています。本論文では、ソースドキュメントから抽出した重要な情報を用いて要約プロンプトを強化することを探ります。キーフレーズをプロンプトに追加することで、ROUGE F1値とリコールが向上し、生成された要約が参照要約に近くなり、より完全になることを示しています。キーフレーズの数によって、適合率とリコールのトレードオフを制御することができます。さらに、我々の分析では、フレーズレベルでの重要な情報の組み込みが単語や文レベルよりも優れていることが明らかになりました。ただし、ホールシネーションへの影響はすべてのLLMにおいて必ずしも肯定的ではないことを確認しました。この分析を行うために、我々は軽量なモデルであるキーフレーズ信号抽出器（SigExt）を導入しました。SigExtを使用することで、データセット間およびオープンウェイトとプロプライエタリーなLLM間で一貫したROUGEスコアの向上を達成できました（LLMカスタマイズなし）。我々の知見は、プロンプトベースの要約システム構築における重要な情報活用に関する洞察を与えます。コードは\url{https://github.com/amazon-science/SigExt}で公開されています。