Recipe1M+: 요리 레시피와 음식 이미지 간의 크로스 모달 임베딩을 학습하기 위한 데이터셋

본 논문에서는 100만 개 이상의 요리 레시피와 1,300만 개의 음식 이미지를 포함하는 새로운 대규모 구조화된 코퍼스인 Recipe1M+를 소개합니다. Recipe1M+는 가장 큰 공개적으로 이용 가능한 레시피 데이터 집합으로, 정렬된 다중 모달 데이터에서 고용량 모델을 훈련시키는 능력을 제공합니다. 이 데이터를 사용하여 우리는 레시피와 이미지의 공동 임베딩을 학습하는 신경망을 훈련시키며, 이는 이미지-레시피 검색 작업에서 인상적인 결과를 얻습니다. 또한, 고차원 분류 목표를 추가하여 규제화함으로써 검색 성능이 인간과 견줄 수 있을 정도로 향상되고 의미론적 벡터 산술이 가능해짐을 보여줍니다. 우리는 이러한 임베딩이 Recipe1M+ 데이터셋 및 일반적인 음식과 요리를 탐구하기 위한 기반이 될 것이라고 가정합니다. 코드, 데이터 및 모델은 공개적으로 이용 가능합니다.