你什么时候变得这么聪明了，哦，智慧之士？！——多模态多对话方语境中的讽刺解释

间接言语，如讽刺，能够在人类交流中实现多种话语目标。尽管比喻性语言的间接性使说话者能够达成特定的语用目的，但这一特点对人工智能代理而言却构成了理解人类交流独特性的巨大挑战。尽管讽刺识别在对话分析领域已得到广泛研究，但要使对话系统真正理解对话的内在含义并生成恰当回应，仅仅识别讽刺是远远不够的；关键在于揭示其背后的讽刺内涵，以把握讽刺的真正本质。为此，本文研究了讽刺性对话的话语结构，提出了一项新任务——对话中的讽刺解释（Sarcasm Explanation in Dialogue, SED）。该任务设定在多模态与代码混用的语境中，旨在生成对讽刺性对话的自然语言解释。为此，我们构建了WITS这一全新数据集以支持该任务。我们提出了MAF（模态感知融合，Modality Aware Fusion）模块，该模块是一种考虑多模态上下文的注意力机制与全局信息融合机制，用于有效捕捉多模态特征，并以此对WITS数据集进行基准测试。实验结果表明，所提出的注意力模块在各项指标上均显著优于传统的多模态融合基线方法，表现最佳。最后，我们从定量与定性两个层面进行了深入分析。