역주방: 음식 이미지로부터 레시피 생성

사람들은 음식을 즐기기 때문에 음식 사진을 찍는 것을 좋아합니다. 각 식사 뒤에는 복잡한 레시피로 설명되는 이야기가 있으며, 불행히도 음식 사진만으로는 그 준비 과정에 접근할 수 없습니다. 따라서 이 논문에서는 음식 이미지를 통해 요리 레시피를 재현하는 역 요리 시스템을 소개합니다. 우리 시스템은 새로운 아키텍처를 통해 재료의 종속성을 순서 없이 모델링하여 재료 집합을 예측하고, 이미지와 추론된 재료를 동시에 참조하여 조리 지침을 생성합니다. 우리는 대규모 Recipe1M 데이터셋에서 전체 시스템을 철저히 평가하여 (1) 기존 기준에 비해 재료 예측 성능이 향상되었음을 보여주며, (2) 이미지와 재료를 활용하여 고품질의 레시피를 얻을 수 있음을 입증하며, (3) 사람들의 판단에 따르면 검색 기반 접근법보다 더 매력적인 레시피를 생성할 수 있음을 확인하였습니다. 우리는 코드와 모델을 공개적으로 제공합니다.