18日前

Eコマース画像におけるテキストの注目喚起効果:新たなサリエンシー予測データセットと手法

{Bo Huang, Yichen Guo, Se Lei, Mai Xu, Shengxi Li, Yifei Li, Lai Jiang}
Eコマース画像におけるテキストの注目喚起効果:新たなサリエンシー予測データセットと手法
要約

電子商取引における画像は、オンライン販売およびショッピングの場面で人々の注目を引く上で中心的な役割を果たしており、正確な注目度予測は顧客および小売業者にとって極めて重要である。しかしながら、この分野における研究はまだ始まったばかりである。本論文では、電子商取引画像における注目度を予測するための学習を可能にする、初めての注目度電子商取引画像データセット(SalECI)を構築した。さらに、電子商取引画像に特有の特徴、例えば非局所性やテキスト領域との相関性を強調することで、専門的かつ包括的な分析を実施した。これに伴い、非局所性および自己注意(self-attention)メカニズムの利点を活かし、注目度に特化したSWin-Transformerベースネットワークを提案した。さらに、注目度予測とテキスト検出の二つのタスクを統合したマルチタスク学習フレームワークを構築し、両タスクに有益な情報フロー機構を導入した。実験結果により、本研究が電子商取引の文脈において最先端の性能を達成していることが確認された。