SocialIQA : Raisonnement de bon sens sur les interactions sociales

Nous présentons Social IQa, la première grande base de référence pour l'évaluation du raisonnement de sens commun dans les situations sociales. Social IQa contient 38 000 questions à choix multiples destinées à sonder l'intelligence émotionnelle et sociale dans une variété de situations quotidiennes (par exemple, Q : « Jordan voulait dire un secret à Tracy, donc Jordan s'est penché vers Tracy. Pourquoi Jordan a-t-il fait cela ? » A : « S'assurer que personne d'autre ne puisse entendre »). Grâce au recours à la foule, nous collectons des questions de sens commun accompagnées de réponses correctes et incorrectes concernant les interactions sociales, en utilisant un nouveau cadre qui atténue les artefacts stylistiques dans les réponses incorrectes en demandant aux travailleurs de fournir la bonne réponse à une question différente mais liée. Les résultats empiriques montrent que notre base de référence est difficile pour les modèles actuels d'answer aux questions basés sur des modèles linguistiques préentraînés, comparativement aux performances humaines (écart > 20 %). De manière notable, nous établissons également Social IQa comme une ressource pour le transfert d'apprentissage des connaissances de sens commun, atteignant des performances de pointe sur plusieurs tâches de raisonnement de sens commun (schémas Winograd, COPA).