HyperAIHyperAI

Command Palette

Search for a command to run...

SWAG : Un grand ensemble de données adverses pour l'inférence de sens commun ancrée

Rowan Zellers Yonatan Bisk Roy Schwartz Yejin Choi

Résumé

Étant donné une description partielle comme « elle a ouvert le capot de la voiture », les humains peuvent raisonner sur la situation et anticiper ce qui pourrait suivre (« ensuite, elle a examiné le moteur »). Dans cet article, nous introduisons la tâche d'inférence fondée sur le sens commun, unifiant l'inférence en langage naturel et le raisonnement fondé sur le sens commun.Nous présentons SWAG, un nouveau jeu de données comprenant 113 000 questions à choix multiples portant sur une gamme variée de situations ancrées dans le réel. Pour répondre aux défis récurrents des artefacts d'annotation et des biais humains présents dans de nombreux jeux de données existants, nous proposons le Filtrage Adversaire (FA), une procédure novatrice qui construit un jeu de données débarrassé des biais en formant itérativement un ensemble de classifieurs stylistiques et en utilisant ceux-ci pour filtrer les données. Afin de compenser le filtrage adversaire agressif, nous utilisons des modèles linguistiques d'avant-garde pour générer massivement un ensemble diversifié de contre-factuels potentiels. Les résultats empiriques montrent que, bien que les humains puissent résoudre les problèmes d'inférence résultants avec une précision élevée (88 %), divers modèles concurrents peinent face à notre tâche. Nous fournissons une analyse complète qui indique des opportunités significatives pour des recherches futures.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
SWAG : Un grand ensemble de données adverses pour l'inférence de sens commun ancrée | Articles | HyperAI