HyperAIHyperAI

Command Palette

Search for a command to run...

Augmentation de données contextuelle sélective pour la détection d'intention à l'aide de l'information V ponctuelle

Yen-Ting Lin Alexandros Papangelis Seokhwan Kim Sungjin Lee Devamanyu Hazarika Mahdi Namazifar Di Jin Yang Liu Dilek Hakkani-Tur

Résumé

Ce travail se concentre sur l'augmentation de données in-context pour la détection d'intentions. Ayant constaté qu'une augmentation obtenue uniquement par des amorçages in-context dans les grands modèles linguistiques pré-entraînés (PLM) ne permet pas d'améliorer les performances, nous proposons une nouvelle approche fondée sur les PLM et la V-information ponctuelle (PVI), une métrique permettant de mesurer l'utilité d'un échantillon de données pour l'entraînement d'un modèle. Notre méthode commence par fine-tuner un PLM sur une petite graine de données d'entraînement, puis synthétise de nouveaux échantillons — des énoncés correspondant à des intentions données. Elle applique ensuite un filtrage conscient des intentions, basé sur la PVI, afin d'éliminer les échantillons qui ne sont pas utiles au classificateur d'intentions en aval. Ainsi, notre méthode parvient à exploiter la puissance expressive des grands modèles linguistiques pour générer des données d'entraînement diversifiées. Les résultats expérimentaux démontrent que notre approche produit des données synthétiques d'entraînement atteignant des performances de pointe sur trois jeux de données exigeants pour la détection d'intentions, dans des conditions peu d'échantillons (amélioration absolue moyenne de 1,28 % en 5-shot et de 1,18 % en 10-shot), et se compare favorablement aux meilleures méthodes existantes dans les conditions pleines d'échantillons (écart moyen inférieur à 0,01 % en valeur absolue).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp