SocialMaze est un ensemble de données de référence de raisonnement social qui se concentre sur les tâches de raisonnement à rôle caché dans les scénarios d'interaction multi-agents. Il vise à évaluer les capacités de raisonnement logique, de détection de tromperie et de compréhension de dialogues multi-tours des grands modèles de langage (LLM) dans des environnements sociaux complexes. Il fournit une plate-forme de test standardisée pour étudier la capacité de raisonnement social des LLM. Cet ensemble de données est conçu autour d'un jeu de raisonnement à rôle caché, simulant des scénarios sociaux impliquant la tromperie et l'erreur de jugement :

Paramètres de rôle :

• Enquêteur : Faites toujours une déclaration véridique.
• Criminel : Peut mentir de manière sélective pour semer la confusion dans l’esprit du public.
• Rumeur : ils pensent qu'ils sont des enquêteurs, mais leurs déclarations sont aléatoirement vraies ou fausses.
• Lunatique : Se croit être un criminel et fait des déclarations vraies ou fausses au hasard.

Déroulement du jeu :

Chaque partie se compose de 3 tours de dialogue, et à chaque tour, tous les joueurs identifient publiquement si un joueur est un criminel. Le joueur 1 (c'est-à-dire le point de vue du modèle) doit déduire le véritable criminel et son propre rôle (qui peut être l'un des quatre mentionnés ci-dessus) en se basant sur les trois séries d'enregistrements de dialogue. Le défi principal est de distinguer les déclarations vraies des mensonges aléatoires, de gérer les biais d’auto-perception des personnages (tels que la fausse identité des propagateurs de rumeurs et des fous), et d’éliminer progressivement les options impossibles et de verrouiller la seule solution par des contradictions logiques ou des cohérences dans plusieurs cycles de dialogue.

Citation

Si vous utilisez cet ensemble de données ou le benchmark SocialMaze dans vos recherches, veuillez citer nos travaux : bibtex @article{xu2025socialmaze, titre={SocialMaze : un outil d’évaluation du raisonnement social dans les grands modèles de langage}, author={Xu, Zixiang et Wang, Yanbo et Huang, Yue et Ye, Jiayi et Zhuang, Haomin et Song, Zirui et Gao, Lang et Wang, Chenxi et Chen, Zhaorun et Zhou, Yujun et Li, Sixian et Pan, Wang et Zhao, Yue et Zhao, Jieyu et Zhang, Xiangliang et Chen, Xiuying} année={2025}, note={En cours d'examen} }