Recipe1M+: 用于学习烹饪食谱和食物图像跨模态嵌入的数据集

本文介绍了Recipe1M+，这是一个包含超过一百万道烹饪食谱和一千三百万张食物图像的新大规模、结构化语料库。作为最大的公开可用的食谱数据集合，Recipe1M+为在对齐的多模态数据上训练高容量模型提供了可能。利用这些数据，我们训练了一个神经网络来学习食谱和图像的联合嵌入，该嵌入在图像-食谱检索任务中取得了令人印象深刻的结果。此外，我们证明了通过添加高级分类目标进行正则化不仅提高了检索性能，使其接近人类水平，还实现了语义向量算术。我们认为，这些嵌入将为深入探索Recipe1M+数据集以及食物和烹饪的一般问题提供基础。代码、数据和模型均已公开发布。