SocialMaze est un ensemble de données de référence de raisonnement social qui se concentre sur les tâches de raisonnement à rôle caché dans les scénarios d'interaction multi-agents. Il vise à évaluer les capacités de raisonnement logique, de détection de tromperie et de compréhension de dialogues multi-tours des grands modèles de langage (LLM) dans des environnements sociaux complexes. Il fournit une plate-forme de test standardisée pour étudier la capacité de raisonnement social des LLM.

Cet ensemble de données est conçu autour d'un jeu de raisonnement à rôle caché, simulant des scénarios sociaux impliquant la tromperie et l'erreur de jugement :

Paramètres de rôle :

• Enquêteur : Faites toujours une déclaration véridique.

• Criminel : Peut mentir de manière sélective pour semer la confusion dans l’esprit du public.

• Rumeur : ils pensent qu'ils sont des enquêteurs, mais leurs déclarations sont aléatoirement vraies ou fausses.

• Lunatique : Se croit être un criminel et fait des déclarations vraies ou fausses au hasard.

Déroulement du jeu :

Chaque partie se compose de 3 tours de dialogue, et à chaque tour, tous les joueurs identifient publiquement si un joueur est un criminel. Le joueur 1 (c'est-à-dire le point de vue du modèle) doit déduire le véritable criminel et son propre rôle (qui peut être l'un des quatre mentionnés ci-dessus) en se basant sur les trois séries d'enregistrements de dialogue.

Le défi principal est de distinguer les déclarations vraies des mensonges aléatoires, de gérer les biais d’auto-perception des personnages (tels que la fausse identité des propagateurs de rumeurs et des fous), et d’éliminer progressivement les options impossibles et de verrouiller la seule solution par des contradictions logiques ou des cohérences dans plusieurs cycles de dialogue.