あなたはいつの間にかこんなに賢くなったのですね、おお賢者よ！？皮肉の解釈：マルチモーダル・マルチパーティ対話における考察

人間のコミュニケーションにおいて、皮肉のような間接的な表現は、多様な対話的目標を達成する。比喩表現の間接性は話し手が特定の実用的意図を達成する余地を与える一方で、AIエージェントにとっては人間のコミュニケーションにおけるこうした個別性を理解することは困難である。皮肉の識別は対話分析において広く研究されてきたテーマであるが、会話システムが会話の本質的な意味を真正に理解し、適切な応答を生成するためには、単に皮肉を検出するだけでは不十分である。むしろ、皮肉の背後にある含意を説明することが、その真の本質を捉えるために不可欠である。本研究では、皮肉を含む会話の対話構造を検討し、新たなタスクとして「会話における皮肉の説明（Sarcasm Explanation in Dialogue, SED）」を提案する。本タスクはマルチモーダルかつコードミックス（言語混合）の文脈を想定しており、風刺的な会話の自然言語による説明を生成することを目的としている。この目的を達成するため、本研究ではWITSと呼ばれる新しいデータセットを構築した。さらに、マルチモーダルな文脈を意識したアテンションとグローバル情報の融合モジュールであるMAF（Modality Aware Fusion）を提案し、WITSデータセットのベンチマークとして用いた。提案するアテンションモジュールは従来のマルチモーダル融合手法を上回り、ほぼすべての評価指標において最高の性能を達成した。最後に、定量的および定性的な詳細な分析を実施した。