知识图谱上的多模态类比推理

类比推理是人类认知的基础，在多个领域中具有重要地位。然而，以往的研究主要聚焦于单模态类比推理，忽视了结构化知识的利用。值得注意的是，认知心理学的研究表明，多模态信息源通常能够带来比单模态信息源更强的认知迁移能力。为此，我们提出了知识图谱上的多模态类比推理这一新任务，该任务要求在背景知识的辅助下具备多模态推理能力。具体而言，我们构建了一个多模态类比推理数据集（MARS）和一个大规模多模态知识图谱（MarKG）。通过在多模态知识图谱嵌入和预训练Transformer模型上进行评估，我们揭示了该任务所面临的潜在挑战。为进一步提升性能，我们受结构映射理论（Structure Mapping Theory）启发，提出了一种新型、与模型无关的多模态类比推理框架——MarT（Multimodal Analogical Reasoning with Transformer）。实验结果表明，该框架在多模态类比推理任务上表现更优。相关代码与数据集已开源，可访问 https://github.com/zjunlp/MKG_Analogy。