跨模态检索与合成（Cross-Modal Retrieval and Synthesis, X-MRS）：在共享表征学习中弥合模态差距

计算型食品分析（Computational Food Analysis, CFA）天然需要针对特定食品的多模态证据，例如图像、食谱文本等。实现CFA的关键在于多模态共享表示学习（multi-modal shared representation learning），其目标是构建数据多种视图（如文本与图像）之间的联合表示。本文提出一种面向食品领域的跨模态共享表示学习方法，旨在保留食品数据中丰富的语义信息。所提出的方法结合了一种基于Transformer的多语言食谱编码器与传统的图像嵌入架构。特别地，我们引入不完善的多语言翻译作为正则化手段，不仅有效提升了模型的泛化能力，还实现了对多种语言及文字系统的支持。在公开的Recipe1M数据集上的实验分析表明，该方法学习到的表示在检索任务中显著优于当前最先进的技术水平（SOTA）。此外，通过构建基于食谱嵌入的生成式食品图像合成模型，进一步验证了所学表示的强大表达能力。合成图像能够有效复现配对样本的视觉特征，表明该表示成功捕捉了食谱文本与视觉内容之间的联合语义，从而显著缩小了不同模态之间的语义鸿沟。