Ducho と Elliot の出会い：大規模マルチモーダル推薦のベンチマーク

ファッション、音楽、映画の推薦などの特定の分野では、製品やサービスを特徴付ける多面的な特性がオンライン販売プラットフォーム上の各顧客に異なる影響を与える可能性があり、そのような多モーダルコンテンツから学習できる新しい多モーダル推薦モデルへの道を開く可能性があります。文献によると、一般的な多モーダル推薦プロセスは以下のステップを含んでいます。(i) 多モーダル特徴量の抽出、(ii) 推薦タスクに適した高次表現への精製、(iii) 任意で全ての多モーダル特徴量の融合、(iv) ユーザー-アイテムスコアの予測です。最適なソリューション設計には(ii)-(iv)に多くの努力が払われていますが、我々の知る限り(i)に関する研究は非常に少ないのが現状です。この点において、既存の文献は多モーダルデータセットの豊富な利用可能性と多モーダル対応タスクを考慮した大規模モデルの増加を指摘していますが、同時に限られた標準化されたソリューションが不当に採用されていることを示唆しています。これにより、我々はパイプラインの(i)段階におけるより包括的な技術を探求する動機付けを受けました。この目的のために、本論文では初めて大規模なベンチマーク評価を提供し、特に多モーダル抽出器に焦点を当てます。具体的には、最近の人気のあるDuchoおよびElliotという2つのフレームワークを利用し、新たな多モーダル特徴量抽出器を使用して広範なベンチマーク分析を行うことができる統一的かつ即時利用可能な実験環境を提供します。選択された抽出器に対する異なるハイパーパラメータ設定での検証結果は、次の世代の多モーダル推薦アルゴリズムの訓練と調整方法に関する重要な洞察を提供しています。