GEFF:顔特徴を用いたギャラリー拡張による任意の衣装変更対応Person ReIDモデルの改善

衣装変更再識別(Clothes-Changing Re-Identification, CC-ReID)問題において、人物のクエリサンプルが与えられたとき、その人物の正しく識別されるIDを、衣装が異なる状態で登録されたラベル付きギャラリーから特定することを目的とする。これまでの多数のモデルは、衣装に依存しない特徴量を抽出することでこの課題に取り組んできた。しかし、人物が同一の衣装で登録されたギャラリーにおける「同一衣装設定」と比較して、衣装が変更された状況下では依然として性能が低いままである。これは、データ中で衣装関連の特徴量がしばしば支配的な役割を果たすためである。本研究では、こうした衣装関連特徴を活用するため、新たなプロセスとして「ギャラリー拡張(Gallery Enrichment)」を提案する。このプロセスでは、顔特徴に基づいて未ラベルのクエリサンプルを無監督アルゴリズムを用いて抽出し、元のギャラリーに追加することで、ギャラリーを拡張する。さらに、拡張されたギャラリーと再識別(ReID)および顔特徴抽出モジュールを統合することで、顔を含まない新しい衣装のクエリサンプルに対しても、より高精度なReIDモデルを実現できることを示した。また、既存のCC-ReIDベンチマークが現実世界のシナリオを十分に反映していないと指摘し、混雑したシーンと多数の衣装変更を含む劇場公演を基にした新しい動画CC-ReIDデータセット「42Street」を提案した。複数のReIDモデルに適用した結果、本手法(GEFF)はPRCCおよびLTCCベンチマークにおけるTop-1衣装変更評価指標で平均で33.5%および6.7%の向上を達成した。最新のReIDモデルと組み合わせることで、PRCC、LTCC、CCVID、LaST、VC-Clothesベンチマークおよび提案した42Streetデータセットにおいて、いずれも新たなSOTA(State-of-the-Art)性能を達成した。