Apprentissage in-context basé sur les métriques : une étude de cas sur la simplification de texte

L’apprentissage in-context (ICL) pour les grands modèles linguistiques s’est avéré être une approche puissante pour de nombreuses tâches de traitement du langage naturel. Toutefois, déterminer la meilleure méthode pour sélectionner les exemples dans le cadre de l’ICL n’est pas trivial, car les résultats peuvent varier considérablement en fonction de la qualité, de la quantité et de l’ordre des exemples utilisés. Dans cet article, nous menons une étude de cas sur la simplification de texte (TS) afin d’explorer comment sélectionner les exemples les plus pertinents et les plus robustes pour l’ICL. Nous proposons une méthode appelée apprentissage in-context basé sur les métriques (MBL), qui utilise des métriques couramment employées dans la TS, telles que SARI, le taux de compression et BERT-Precision, pour guider la sélection. À travers une série d’expériences étendues menées sur divers modèles GPT de différentes tailles, sur des benchmarks standards de TS tels que TurkCorpus et ASSET, nous montrons que les exemples sélectionnés selon les meilleurs scores SARI se révèlent les plus performants sur les grands modèles comme GPT-175B, tandis que le taux de compression s’avère généralement supérieur sur les modèles plus petits, tels que GPT-13B et GPT-6.7B. De plus, nous démontrons que la méthode MBL est globalement robuste face à différentes ordonnancements des exemples et à des ensembles de test hors-domaine, et qu’elle surpasser des baselines solides ainsi que des modèles linguistiques fine-tunés de pointe. Enfin, nous mettons en évidence que le comportement des grands modèles GPT peut être contrôlé de manière implicite en fonction de la métrique choisie. Cette recherche établit un nouveau cadre pour la sélection d’exemples en ICL, et illustre son efficacité dans les tâches de simplification de texte, ouvrant ainsi la voie à des systèmes de génération de langage naturel (NLG) plus précis et plus efficaces.