摘要
近年来，许多应用领域的可用数据量急剧增长。此外，单独使用多种模态的时代实际上已经结束。因此，实现双向跨模态数据检索的能力已成为许多研究领域和学科的必要需求。这一点在医疗领域尤为明显，因为数据类型多样，包括各种类型的图像、报告以及分子数据。大多数现代研究工作通过交叉注意力机制来突出图像或文本中与其他模态相关的重要元素，并尝试将它们匹配在一起。然而，尽管这些特征在其各自模态中具有重要性，这些方法通常对每个模态的特征给予同等考虑。本研究提出了一种自注意力机制作为额外的损失项，以丰富输入到交叉注意力模块的内部表示。该工作建议了一种新的架构，并引入了一个新的损失项，以帮助在联合潜在空间中表示图像和文本。实验结果表明，在两个基准数据集（即MS-COCO和ARCH）上，所提出的方法具有有效性。