Informations Saillantes Incitant à Orienter le Contenu dans la Génération de Résumés Abstraits Basée sur des Prompts

Les grands modèles de langage (LLMs) peuvent générer des résumés fluides dans divers domaines en utilisant des techniques d'incitation, réduisant ainsi la nécessité de former des modèles spécifiques pour les applications de résumé. Cependant, créer des incitations efficaces qui guident les LLMs à produire des résumés avec le niveau approprié de détail et de style d'écriture reste un défi. Dans cet article, nous explorons l'utilisation d'informations saillantes extraites du document source pour améliorer les incitations de résumé. Nous montrons que l'ajout de termes clés dans les incitations peut améliorer le ROUGE F1 et le rappel, rendant les résumés générés plus similaires aux références et plus complets. Le nombre de termes clés peut contrôler le compromis entre précision et rappel. De plus, notre analyse révèle que l'intégration d'informations saillantes au niveau des phrases est supérieure à celle au niveau des mots ou des phrases. Cependant, l'impact sur les hallucinations n'est pas universellement positif pour tous les LLMs. Pour mener cette analyse, nous introduisons Keyphrase Signal Extractor (SigExt), un modèle léger qui peut être affiné pour extraire des termes clés saillants. En utilisant SigExt, nous obtenons une amélioration constante du ROUGE sur différents jeux de données et sur des LLMs à poids ouverts et propriétaires sans aucune personnalisation du LLM. Nos résultats fournissent des pistes pour exploiter les informations saillantes dans la construction de systèmes de résumé basés sur les incitations. Nous mettons notre code à disposition sur \url{https://github.com/amazon-science/SigExt}.