重新思考多模态实体对齐中的不确定缺失和模糊视觉模态

作为实体对齐（Entity Alignment, EA）的重要扩展，多模态实体对齐（Multi-Modal Entity Alignment, MMEA）旨在通过利用相关的视觉信息来识别不同知识图谱（Knowledge Graphs, KGs）中的相同实体。然而，现有的MMEA方法主要集中在多模态实体特征的融合范式上，而忽视了普遍存在的视觉图像缺失和固有模糊性所带来的挑战。在本文中，我们进一步分析了视觉模态的不完整性，并在我们提出的MMEA-UMVM数据集上对最新的MMEA模型进行了基准测试。该数据集涵盖了双语和单语的知识图谱类型，采用标准（非迭代）和迭代训练范式来评估模型性能。我们的研究表明，在面对模态不完整性时，模型容易过度拟合模态噪声，并在高比例的缺失模态下表现出性能波动或下降。这证明了引入额外的多模态数据有时会对实体对齐产生负面影响。为了解决这些挑战，我们提出了UMAEA，一种稳健的多模态实体对齐方法，专门用于处理不确定缺失和模糊的视觉模态。UMAEA在所有97个基准测试分割中均实现了最先进（State-of-the-Art, SOTA）的性能，显著超越了现有基线方法，并且在参数量和时间消耗方面非常有限的情况下有效缓解了其他模型所面临的局限性。我们的代码和基准数据可在https://github.com/zjukg/UMAEA获取。