Quand es-tu devenu si intelligent, ô sage !? Explication de l'ironie dans les dialogues multimodaux à plusieurs participants

Le discours indirect, tel que la satire, permet d’atteindre une constellation d’objectifs discursifs dans la communication humaine. Bien que l’indirectivité du langage figuré permette aux locuteurs de réaliser certains objectifs pragmatiques, elle constitue un défi majeur pour les agents intelligents artificiels, qui peinent à comprendre ces particularités propres à la communication humaine. Bien que l’identification de la satire ait été largement étudiée dans l’analyse des dialogues, pour que les systèmes conversationnels puissent véritablement saisir le sens intrinsèque d’une conversation et produire des réponses appropriées, il ne suffit pas de détecter la satire : il est essentiel de pouvoir expliquer sa connotation satirique sous-jacente afin de capturer son essence réelle. Dans ce travail, nous étudions la structure discursive des conversations sarcastiques et proposons une nouvelle tâche : l’Explication de la Satire dans les Dialogues (SED). Cette tâche, définie dans un cadre multimodal et à mélange de codes, vise à générer des explications en langage naturel pour des échanges satiriques. À cette fin, nous avons constitué WITS, un nouveau jeu de données destiné à soutenir cette tâche. Nous proposons MAF (Modality Aware Fusion), un module d’attention sensible aux modalités et de fusion d’informations globales, conçu pour capturer les aspects multimodaux, que nous utilisons comme référence pour évaluer WITS. Le module d’attention proposé surpasse les méthodes classiques de fusion multimodale et obtient les meilleurs résultats sur presque toutes les métriques. Enfin, nous menons des analyses approfondies, à la fois quantitatives et qualitatives.