2 个月前

逆向烹饪:从食物图像生成食谱

Amaia Salvador; Michal Drozdzal; Xavier Giro-i-Nieto; Adriana Romero
逆向烹饪:从食物图像生成食谱
摘要

人们喜欢食物摄影是因为他们欣赏美食。每道菜肴背后都有一个复杂食谱所描述的故事,然而,仅通过观察食物图片,我们无法了解其制作过程。因此,在本文中,我们介绍了一种逆向烹饪系统,该系统可以根据食物图像重建烹饪食谱。我们的系统通过一种新颖的架构预测食材集,建模它们之间的依赖关系而不施加任何顺序,然后同时关注图像及其推断出的食材生成烹饪步骤。我们在大规模的Recipe1M数据集上对整个系统进行了广泛的评估,并展示了以下几点:(1) 我们在食材预测方面相比之前的基线方法提高了性能;(2) 通过利用图像和食材信息,我们能够获得高质量的食谱;(3) 根据人类判断,我们的系统生成的食谱比基于检索的方法更具吸引力。我们已将代码和模型公开。注释:- “逆向烹饪系统”(inverse cooking system):这是一种从结果反推过程的技术应用。- “Recipe1M数据集”(Recipe1M dataset):这是一个包含大量食谱和相关图像的数据集,常用于食物识别和食谱生成的研究。