PIQA : Raisonnement sur le sens commun physique dans le langage naturel

Pour appliquer du fard à paupières sans pinceau, faut-il utiliser un coton-tige ou une brochette en bois ? Ce type de questions nécessitant une connaissance pratique du monde physique pose un défi aux systèmes actuels de compréhension du langage naturel. Bien que les modèles pré-entraînés récents (comme BERT) aient fait des progrès dans le domaine des questions-réponses abstraites, tels que les articles de presse et les entrées d'encyclopédie, où le texte est abondant, dans les domaines plus physiques, le texte est intrinsèquement limité en raison du biais de rapport. Les systèmes d'IA peuvent-ils apprendre à répondre de manière fiable à des questions de bon sens physique sans expérimenter le monde physique ? Dans cet article, nous introduisons la tâche de raisonnement sur le bon sens physique et un ensemble de données de référence correspondant appelé Physical Interaction : Question Answering (PIQA). Bien que les humains trouvent ce jeu de données facile (95 % d'exactitude), les grands modèles pré-entraînés peinent (77 %). Nous fournissons une analyse des dimensions de connaissances que manquent les modèles existants, offrant ainsi des opportunités importantes pour la recherche future.