Yang Wang Chenghao Xiao Chia-Yi Hsiao Zi Yan Chang Chi-Li Chen Tyler Loakman Chenghua Lin

Résumé

Nous introduisons le Drivelology, un phénomène linguistique unique caractérisé par une « absurde à profondeur », des énoncés syntaxiquement cohérents mais pragmatiquement paradoxaux, émotionnellement chargés ou rhétoriquement subversifs. Bien que ces expressions puissent ressembler à une absurdité superficielle, elles codent une signification implicite exigeant une inférence contextuelle, un raisonnement moral ou une interprétation émotionnelle. Nous constatons que les grands modèles linguistiques (LLM), malgré leurs performances remarquables sur de nombreuses tâches de traitement du langage naturel (NLP), échouent de manière systématique à saisir la sémantique en couches du texte drivelologique. Pour explorer ce phénomène, nous avons constitué un jeu de données de référence, petit mais diversifié, comprenant plus de 1 200 exemples soigneusement sélectionnés, dont certains sont présentés en anglais, mandarin, espagnol, français, japonais et coréen. L’annotation s’est révélée particulièrement exigeante : chaque exemple a nécessité une revue experte minutieuse afin de confirmer qu’il incarnait véritablement les caractéristiques du Drivelology. Ce processus a fait appel à plusieurs rounds de discussion et de médiation pour trancher les désaccords, soulignant la nature subtile et subjective du Drivelology. Nous évaluons une variété de LLM sur des tâches de classification, de génération et de raisonnement. Nos résultats mettent en évidence des limites claires des LLM : les modèles confondent fréquemment le Drivelology avec une absurdité superficielle, produisent des justifications incohérentes ou ignorent complètement la fonction rhétorique implicite. Ces découvertes révèlent un écart représentationnel plus profond dans la compréhension pragmatique des LLM et remettent en question l’hypothèse selon laquelle la fluidité statistique équivaut à une compréhension cognitive. Nous mettons à disposition notre jeu de données et notre code afin de favoriser des recherches ultérieures sur la modélisation de la profondeur linguistique au-delà de la simple cohérence superficielle.