2ヶ月前

逆料理:食品画像からレシピ生成

Amaia Salvador; Michal Drozdzal; Xavier Giro-i-Nieto; Adriana Romero
逆料理:食品画像からレシピ生成
要約

人々は食事を楽しむとともに、その美しさや豊かさを写真で捉えることを好む。各料理には複雑なレシピによって描かれる物語があり、残念ながら単に食事の画像を見ただけではその調理過程にアクセスすることはできない。本論文では、食事の画像から調理レシピを再現する逆調理システムを導入する。当該システムは、新しいアーキテクチャにより食材の集合を予測し、順序を強制することなくそれらの依存関係をモデル化した後、画像と推定された食材の両方に注目しながら調理手順を生成する。我々は大規模なRecipe1Mデータセット上でシステム全体を広範に評価し、(1)食材予測において従来のベースラインよりも性能が向上していること;(2)画像と食材の両方を利用することで高品質なレシピを得られること;(3)ヒューマンジャッジメントによれば、検索ベースの手法よりも魅力的なレシピを生成できることを示す。コードとモデルは公開されている。注:「逆調理システム」は「inverse cooking system」の日本語訳であり、「逆」は通常「reverse」と訳されるが、この文脈では「逆向き」または「逆方向」ではなく、「逆転」や「反転」などの意味を持つ「逆」を使用しています。「ヒューマンジャッジメント」は一般的な表現ですが、「人間による評価」や「人間評価」としても可です。