HyperAIHyperAI

Command Palette

Search for a command to run...

SocialIQA : Raisonnement de bon sens sur les interactions sociales

Maarten Sap∗ ◊♥ Hannah Rashkin∗ ◊♥ Derek Chen♥ Ronan Le Bras◊ Yejin Choi◊♥

Résumé

Nous présentons Social IQa, la première grande base de référence pour l'évaluation du raisonnement de sens commun dans les situations sociales. Social IQa contient 38 000 questions à choix multiples destinées à sonder l'intelligence émotionnelle et sociale dans une variété de situations quotidiennes (par exemple, Q : « Jordan voulait dire un secret à Tracy, donc Jordan s'est penché vers Tracy. Pourquoi Jordan a-t-il fait cela ? » A : « S'assurer que personne d'autre ne puisse entendre »). Grâce au recours à la foule, nous collectons des questions de sens commun accompagnées de réponses correctes et incorrectes concernant les interactions sociales, en utilisant un nouveau cadre qui atténue les artefacts stylistiques dans les réponses incorrectes en demandant aux travailleurs de fournir la bonne réponse à une question différente mais liée. Les résultats empiriques montrent que notre base de référence est difficile pour les modèles actuels d'answer aux questions basés sur des modèles linguistiques préentraînés, comparativement aux performances humaines (écart > 20 %). De manière notable, nous établissons également Social IQa comme une ressource pour le transfert d'apprentissage des connaissances de sens commun, atteignant des performances de pointe sur plusieurs tâches de raisonnement de sens commun (schémas Winograd, COPA).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp