HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage in-context basé sur les métriques : une étude de cas sur la simplification de texte

Subha Vadlamannati Gözde Gül Şahin

Résumé

L’apprentissage in-context (ICL) pour les grands modèles linguistiques s’est avéré être une approche puissante pour de nombreuses tâches de traitement du langage naturel. Toutefois, déterminer la meilleure méthode pour sélectionner les exemples dans le cadre de l’ICL n’est pas trivial, car les résultats peuvent varier considérablement en fonction de la qualité, de la quantité et de l’ordre des exemples utilisés. Dans cet article, nous menons une étude de cas sur la simplification de texte (TS) afin d’explorer comment sélectionner les exemples les plus pertinents et les plus robustes pour l’ICL. Nous proposons une méthode appelée apprentissage in-context basé sur les métriques (MBL), qui utilise des métriques couramment employées dans la TS, telles que SARI, le taux de compression et BERT-Precision, pour guider la sélection. À travers une série d’expériences étendues menées sur divers modèles GPT de différentes tailles, sur des benchmarks standards de TS tels que TurkCorpus et ASSET, nous montrons que les exemples sélectionnés selon les meilleurs scores SARI se révèlent les plus performants sur les grands modèles comme GPT-175B, tandis que le taux de compression s’avère généralement supérieur sur les modèles plus petits, tels que GPT-13B et GPT-6.7B. De plus, nous démontrons que la méthode MBL est globalement robuste face à différentes ordonnancements des exemples et à des ensembles de test hors-domaine, et qu’elle surpasser des baselines solides ainsi que des modèles linguistiques fine-tunés de pointe. Enfin, nous mettons en évidence que le comportement des grands modèles GPT peut être contrôlé de manière implicite en fonction de la métrique choisie. Cette recherche établit un nouveau cadre pour la sélection d’exemples en ICL, et illustre son efficacité dans les tâches de simplification de texte, ouvrant ainsi la voie à des systèmes de génération de langage naturel (NLG) plus précis et plus efficaces.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage in-context basé sur les métriques : une étude de cas sur la simplification de texte | Articles | HyperAI