大規模言語モデル間のマルチモーダルディベートによる説明可能な有害ミーム検出

ソーシャルメディアの時代において、インターネットミーム（meme）はあらゆる場所に溢れており、その中から有害なミームを明確に把握し、効果的に識別することが必要不可欠となっている。しかしながら、ミームに内在する意味は、表面的なテキストや画像からは直接的に伝わらない「暗黙の意味（implicit meaning）」を含んでおり、このため有害ミーム検出のタスクは大きな課題となっている。現存する有害ミーム検出手法の多くは、こうした暗黙の意味を明らかにする読解可能な説明を提供できず、検出判断の根拠を十分に示すことができていない。本論文では、無害な立場と有害な立場から生じる対立する根拠（conflicting rationales）を推論することで、説明可能な有害ミーム検出アプローチを提案する。具体的には、大規模言語モデル（LLM）のテキスト生成および推論能力に着目し、LLM間におけるマルチモーダルな議論（multimodal debate）を誘発することで、対立する主張から導かれる説明を生成する。さらに、有害性の推論を実現するため、小規模な言語モデルを「議論の審査者（debate judge）」として微調整し、有害性に関する根拠とミーム内に内在するマルチモーダルな情報との融合を促進する。このアプローチにより、本モデルは、無害と有害の両方の立場から生じるマルチモーダルな説明を活用し、複雑で暗黙的な有害性を示唆するパターンに対して弁証的推論（dialectical reasoning）を実行できるようになる。3つの公開ミームデータセットを用いた広範な実験により、本手法が最先端の手法を上回る優れた性能を発揮するとともに、モデルの予測結果に対する有害性の説明能力が顕著に優れていることが確認された。