RGBモダリティのみを使用した着替え人物再識別

衣服の変更を伴う人物再識別（re-id）の鍵は、顔、髪型、体形、歩行様式などの衣服に依存しない特徴を抽出することにある。現時点での多くの研究は、シルエットやスケッチなど多様なモダリティ情報から体形をモデル化することに主に焦点を当てているが、元のRGB画像に含まれる衣服に依存しない情報を十分に活用していない。本論文では、RGB画像から衣服に依存しない特徴を抽出するために、re-idモデルの衣服に対する予測力を罰則として利用する「Clothes-based Adversarial Loss (CAL)」を提案する。広範囲にわたる実験により、RGB画像のみを使用した場合でもCALが広く使用されている clothes-changing person re-id ベンチマークにおいてすべての最先端手法を上回ることが示された。さらに、画像と比較してビデオにはより豊富な外観情報と追加の時間情報が含まれており、これらの情報を利用して適切な時空間パターンをモデル化し clothes-changing re-id への支援を行うことができる。しかし、公開されている clothes-changing video re-id データセットがないため、我々は新しいデータセット「CCVID」を提供し、時空間情報をモデル化する上で大幅な改善の余地があることを示す。コードと新データセットは以下のURLで入手可能である: https://github.com/guxinqian/Simple-CCReID.