2 个月前
MEAformer:多模态实体对齐变压器用于元模态混合
Zhuo Chen; Jiaoyan Chen; Wen Zhang; Lingbing Guo; Yin Fang; Yufeng Huang; Yichi Zhang; Yuxia Geng; Jeff Z. Pan; Wenting Song; Huajun Chen

摘要
多模态实体对齐(MMEA)旨在发现不同知识图谱(KGs)中相同的实体,这些实体与相关的图像相关联。然而,当前的MMEA算法依赖于知识图谱级别的模态融合策略来表示多模态实体,这忽略了不同实体在模态偏好上的差异,从而降低了对模糊图像和关系等模态噪声的鲁棒性。本文介绍了一种名为MEAformer的多模态实体对齐变换器方法,用于元模态混合,该方法动态预测各模态之间的相互关联系数,实现更细粒度的实体级别模态融合与对齐。实验结果表明,我们的模型不仅在多种训练场景下(包括监督、无监督、迭代和低资源设置)实现了最先进的性能,而且参数数量有限、运行效率高且具有可解释性。我们的代码可在https://github.com/zjukg/MEAformer 获取。