HyperAIHyperAI

Command Palette

Search for a command to run...

LM-CPPF : Augmentation de données guidée par la paraphrase pour le fine-tuning contrastif basé sur des prompts en few-shot

Amirhossein Abaskohi; Sascha Rothe; Yadollah Yaghoobzadeh

Résumé

Ces dernières années ont vu des progrès significatifs dans le développement de modèles de langage pré-entraînés pour le traitement du langage naturel (NLP). Cependant, ces modèles éprouvent souvent des difficultés lorsqu'ils sont affinés sur de petits ensembles de données. Pour remédier à ce problème, les chercheurs ont proposé diverses approches d'adaptation. L'affinement basé sur des prompts est sans doute la méthode la plus courante, particulièrement pour les modèles de grande taille. Des recherches antérieures montrent que l'ajout d'un apprentissage par contraste à l'affinement basé sur des prompts est efficace car il aide le modèle à générer des plongements (embeddings) plus distincts entre les classes, et il peut également être plus économe en échantillons car le modèle apprend simultanément à partir d'exemples positifs et négatifs. L'une des composantes les plus importantes de l'apprentissage par contraste est l'augmentation de données, mais contrairement au domaine de la vision par ordinateur, une augmentation de données efficace pour le NLP reste un défi. Cet article propose LM-CPPF, une méthode d'affinement basé sur des prompts guidée par la paraphrase contrastive (Contrastive Paraphrasing-guided Prompt-based Fine-tuning of Language Models), qui utilise la paraphrase basée sur des prompts avec peu d'exemples grâce à des modèles de langage génératifs, notamment les grands modèles tels que GPT-3 et OPT-175B, pour l'augmentation de données. Nos expériences sur plusieurs benchmarks de classification de texte montrent que cette méthode d'augmentation surpasses d'autres méthodes telles que l'augmentation simple des données, la traduction inverse et les multiples gabarits (templates).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp