Augmentation de données contextuelle sélective pour la détection d'intention à l'aide de l'information V ponctuelle

Ce travail se concentre sur l'augmentation de données in-context pour la détection d'intentions. Ayant constaté qu'une augmentation obtenue uniquement par des amorçages in-context dans les grands modèles linguistiques pré-entraînés (PLM) ne permet pas d'améliorer les performances, nous proposons une nouvelle approche fondée sur les PLM et la V-information ponctuelle (PVI), une métrique permettant de mesurer l'utilité d'un échantillon de données pour l'entraînement d'un modèle. Notre méthode commence par fine-tuner un PLM sur une petite graine de données d'entraînement, puis synthétise de nouveaux échantillons — des énoncés correspondant à des intentions données. Elle applique ensuite un filtrage conscient des intentions, basé sur la PVI, afin d'éliminer les échantillons qui ne sont pas utiles au classificateur d'intentions en aval. Ainsi, notre méthode parvient à exploiter la puissance expressive des grands modèles linguistiques pour générer des données d'entraînement diversifiées. Les résultats expérimentaux démontrent que notre approche produit des données synthétiques d'entraînement atteignant des performances de pointe sur trois jeux de données exigeants pour la détection d'intentions, dans des conditions peu d'échantillons (amélioration absolue moyenne de 1,28 % en 5-shot et de 1,18 % en 10-shot), et se compare favorablement aux meilleures méthodes existantes dans les conditions pleines d'échantillons (écart moyen inférieur à 0,01 % en valeur absolue).