基于多模态正则化的Transformer解码器用于跨模态食物检索

近年来，跨模态图像-菜谱检索受到了广泛关注。现有大多数方法致力于通过单模态编码器提升跨模态嵌入表示，从而实现在大规模数据库中的高效检索，但往往忽略了模态间交互带来的计算开销，因而未充分挖掘模态之间的交叉注意力机制。本文提出一种新型检索框架——T-Food（Transformer解码器结合多模态正则化的跨模态食物检索模型），在训练阶段通过一种新颖的正则化策略有效建模模态间的交互关系，而在推理阶段仅依赖单模态编码器，确保了高效的检索性能。此外，我们设计了专用的菜谱编码器，以捕捉菜谱内部实体之间的依赖关系，并提出了一种带有动态边距的新型三元组损失函数，能够根据任务难度自适应调整，从而提升模型学习效果。最后，我们利用近期先进的视觉-语言预训练（Vision and Language Pretraining, VLP）模型（如CLIP）作为图像编码器，进一步增强图像表征能力。在Recipe1M数据集上的实验结果表明，我们的方法显著优于现有方法：在1k测试集上，R@1指标提升8.1%（达到72.6）；在10k测试集上，R@1指标提升10.9%（达到44.6）。相关代码已开源，地址为：https://github.com/mshukor/TFood。