LM-CPPF : Augmentation de données guidée par la paraphrase pour le fine-tuning contrastif basé sur des prompts en few-shot

Ces dernières années ont vu des progrès significatifs dans le développement de modèles de langage pré-entraînés pour le traitement du langage naturel (NLP). Cependant, ces modèles éprouvent souvent des difficultés lorsqu'ils sont affinés sur de petits ensembles de données. Pour remédier à ce problème, les chercheurs ont proposé diverses approches d'adaptation. L'affinement basé sur des prompts est sans doute la méthode la plus courante, particulièrement pour les modèles de grande taille. Des recherches antérieures montrent que l'ajout d'un apprentissage par contraste à l'affinement basé sur des prompts est efficace car il aide le modèle à générer des plongements (embeddings) plus distincts entre les classes, et il peut également être plus économe en échantillons car le modèle apprend simultanément à partir d'exemples positifs et négatifs. L'une des composantes les plus importantes de l'apprentissage par contraste est l'augmentation de données, mais contrairement au domaine de la vision par ordinateur, une augmentation de données efficace pour le NLP reste un défi. Cet article propose LM-CPPF, une méthode d'affinement basé sur des prompts guidée par la paraphrase contrastive (Contrastive Paraphrasing-guided Prompt-based Fine-tuning of Language Models), qui utilise la paraphrase basée sur des prompts avec peu d'exemples grâce à des modèles de langage génératifs, notamment les grands modèles tels que GPT-3 et OPT-175B, pour l'augmentation de données. Nos expériences sur plusieurs benchmarks de classification de texte montrent que cette méthode d'augmentation surpasses d'autres méthodes telles que l'augmentation simple des données, la traduction inverse et les multiples gabarits (templates).