要約
テキストベースの人物検索（TBPS）は、記述的なテキストクエリを使用して画像ギャラリーから対象人物を検索することを目指しています。このような細かいクロスモーダル検索タスクを解決することは困難であり、大規模データセットの不足によりさらに難しくなっています。本論文では、限られたデータがもたらす問題に対処するための2つの新規構成要素を持つフレームワークを提案します。まず、既存の小規模ベンチマークデータセットをより識別力のある特徴学習に完全に活用するために、クロスモーダル動的コントラスティブ学習フレームワークを導入し、与えられたミニバッチの訓練データを豊富にします。次に、大幅に異なる問題領域から画像とテキストのペアを含む既存の大規模粗粒度データセットから得られる知識を転移することで、TBPS訓練データの不足を補う方法を提案します。大きなドメインギャップにもかかわらず有用な情報を転移できるように設計された転移学習手法を開発しました。これらの構成要素によって、当社の手法はCUHK-PEDESデータセットで新たな最先端の成果を達成し、Rank-1およびmAPにおいて以前の技術よりも大幅な改善を遂げました。当社のコードはhttps://github.com/BrandonHanx/TextReID で公開されています。