HyperAIHyperAI

Command Palette

Search for a command to run...

La justification par incitation améliore l'Adversarial NLI. Est-ce vrai ? {Oui}, c'est {vrai} car {elle affaiblit les indices superficiels}.

Kentaro Inui Benjamin Heinzerling Ana Brassard Pride Kavumba

Résumé

Les prompts d'explication exigent des modèles linguistiques non seulement d'attribuer une étiquette spécifique à une entrée donnée — par exemple, « vrai », « entailment » ou « contradiction » dans le cadre de l'inférence linguistique naturelle — mais aussi de générer une explication librement formulée en texte libre qui justifie cette étiquette. Par exemple : « Cela correspond à l'étiquette car [explication] ». Bien que ce type de prompt ait été initialement introduit dans le but d'améliorer l'interprétabilité des modèles, nous montrons ici qu'il améliore également la robustesse face aux perturbations adverses sur les benchmarks d'inférence linguistique naturelle. Par rapport à la simple prédiction d'étiquettes, l'usage de prompts d'explication conduit de manière cohérente à de meilleures performances sur les benchmarks adverses, dépassant l'état de l'art sur les jeux de données Adversarial Natural Language Inference, Counterfactually-Augmented Natural Language Inference et SNLI-Hard. Nous argumentons que cette augmentation de la robustesse s'explique par le fait que la demande d'explication affaiblit les indices superficiels. En effet, des tokens isolés qui sont fortement prédictifs de la bonne réponse dans le cadre de la prédiction d'étiquettes seule deviennent peu informatifs lorsque le modèle doit également produire une explication.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp