利用对抗网络学习烹饪食谱和食物图像的跨模态嵌入

食品计算在人类日常生活中发挥着越来越重要的作用，并在引导人们进行智能食物消费和健康生活方式方面展现出广泛的应用前景。食品计算领域的一个重要任务是信息检索，特别是在与健康相关的应用中，我们关注的是从食物（如成分、营养等）中检索出关键信息。本文研究了烹饪食谱与食物图像之间的跨模态检索这一开放性研究课题，并提出了一种新颖的框架——对抗跨模态嵌入（Adversarial Cross-Modal Embedding, ACME），以解决食品领域的跨模态检索问题。具体而言，该框架的目标是在两种模态之间学习一个共同的嵌入特征空间，其中我们的方法包含几个创新点：(i) 采用一种新的三元组损失方案及有效的采样策略进行学习；(ii) 利用对抗学习策略实现模态对齐；(iii) 强制跨模态翻译一致性，使得一种模态的嵌入能够恢复另一种模态对应实例的一些重要信息。ACME 在基准数据集 Recipe1M 上取得了最先进的性能，验证了所提技术的有效性。