DSSL: テキストベースの人物検索のための深層周囲-人物分離学習

多くの従来のテキストベースの人検索タスクに関する手法は、視覚的モダリティとテキストモダリティからモーダル不変特徴を抽出することを目的として、潜在的な共通空間マッピングの学習に注力してきました。しかし、高次元データの複雑さにより、制約のないマッピングパラダイムは対応する人の識別的な手がかりを適切に捉えられず、非対応情報が落とされてしまう傾向があります。直感的には、視覚データに含まれる情報は人情報（Person Information: PI）と周辺情報（Surroundings Information: SI）に分けることができ、これらは互いに排他的です。この論文では、効果的に人情報を抽出し照合することで優れた検索精度を達成する新しい深層周辺-人物分離学習（Deep Surroundings-person Separation Learning: DSSL）モデルを提案します。周辺-人物分離および融合メカニズムが相互排他制約下で正確かつ効果的な周辺-人物分離を実現するために重要な役割を果たします。より高い検索精度のために多様なマルチモーダルおよびマルチグラニュラー情報を利用するために、5つの異なるアライメントパラダイムが採用されています。CUHK-PEDESという現在唯一利用可能なテキストベースの人検索タスク用データセットにおいて、提案されたDSSLの評価を行うための広範な実験が行われました。DSSLはCUHK-PEDESで最先端の性能を達成しました。また、提案したDSSLを実際のシナリオで適切に評価するために、テキストベースの人再認識用実際シナリオデータセット（Real Scenarios Text-based Person Reidentification: RSTPReid）が構築され、将来的なテキストベースの人検索研究に貢献するため公開される予定です。