SWAG : Un grand ensemble de données adverses pour l'inférence de sens commun ancrée

Étant donné une description partielle comme « elle a ouvert le capot de la voiture », les humains peuvent raisonner sur la situation et anticiper ce qui pourrait suivre (« ensuite, elle a examiné le moteur »). Dans cet article, nous introduisons la tâche d'inférence fondée sur le sens commun, unifiant l'inférence en langage naturel et le raisonnement fondé sur le sens commun.Nous présentons SWAG, un nouveau jeu de données comprenant 113 000 questions à choix multiples portant sur une gamme variée de situations ancrées dans le réel. Pour répondre aux défis récurrents des artefacts d'annotation et des biais humains présents dans de nombreux jeux de données existants, nous proposons le Filtrage Adversaire (FA), une procédure novatrice qui construit un jeu de données débarrassé des biais en formant itérativement un ensemble de classifieurs stylistiques et en utilisant ceux-ci pour filtrer les données. Afin de compenser le filtrage adversaire agressif, nous utilisons des modèles linguistiques d'avant-garde pour générer massivement un ensemble diversifié de contre-factuels potentiels. Les résultats empiriques montrent que, bien que les humains puissent résoudre les problèmes d'inférence résultants avec une précision élevée (88 %), divers modèles concurrents peinent face à notre tâche. Nous fournissons une analyse complète qui indique des opportunités significatives pour des recherches futures.