Ducho meets Elliot: 대규모 다중 모드 추천 벤치마크

패션, 음악, 영화 추천과 같은 특정 분야에서 제품 및 서비스를 특징짓는 다면적인 특성이 온라인 판매 플랫폼의 각 고객에게 다르게 영향을 미칠 수 있으며, 이러한 다모달 콘텐츠에서 학습할 수 있는 새로운 다모달 추천 모델의 길을 열어줍니다. 문헌에 따르면, 일반적인 다모달 추천 파이프라인은 (i) 다모달 특성 추출, (ii) 추천 작업에 맞는 고차원 표현 정제, (iii) 선택적으로 모든 다모달 특성을 융합하고, (iv) 사용자-아이템 점수 예측을 포함합니다. 최적의 솔루션을 설계하기 위해 (ii-iv) 단계에 많은 노력이 기울여졌지만, 우리 지식의 범위 내에서는 (i) 단계에 대한 탐구에는 거의 관심이 집중되지 않았습니다. 이와 관련하여 기존 문헌은 다모달 데이터셋의 대량 활용 가능성을 강조하며, 다모달 인지 작업을 처리하는 대형 모델의 증가세를 언급하지만(동시에), 제한된 표준화된 솔루션의 부당한 채택을 지적합니다. 이를 통해 우리는 파이프라인의 (i) 단계를 위한 보다 광범위한 기술을 탐색하려는 동기를 얻었습니다. 이 목적을 달성하기 위해 본 논문은 다모달 추천 시스템을 위한 대규모 벤치마킹을 처음으로 제공하는데 초점을 두고 있으며, 특히 다모달 추출기(Multimodal Extractors)에 중점을 둡니다. 구체적으로, 최근 인기 있는 두 프레임워크인 Ducho와 Elliot을 활용하여, 새로운 다모달 특성 추출기를 활용할 수 있는 통합되고 사용자 친화적인 실험 환경을 제공합니다. 선택된 추출기에 대해 다양한 하이퍼파라미터 설정에서 크게 검증된 결과들은 다음 세대 다모달 추천 알고리즘의 훈련 및 조정 방법에 대한 중요한 통찰력을 제공합니다.