17日前
詳細にこそ悪魔あり:人物再識別における条件付き埋め込みのための視覚的手がかりの整合化
Fufu Yu, Xinyang Jiang, Yifei Gong, Shizhen Zhao, Xiaowei Guo, Wei-Shi Zheng, Feng Zheng, Xing Sun

要約
人物再識別(Person Re-Identification)は著しい進展を遂げているが、遮蔽(occlusion)、視点の変化、類似した服装といった困難なケースは依然として大きな課題を残している。全体的な視覚的特徴に加え、詳細な情報のマッチングと比較も、こうした課題に対処する上で不可欠である。本論文では、既存の多くが満たせていない人物画像の詳細情報を効果的に活用するための2つの重要な認識パターンを提案する。第一に、視覚的手がかりの整合(Visual Clue Alignment)は、2枚の画像から決定的な領域ペアをモデルが選択し、対毎の比較を行うことを要求する。これに対して、従来の手法は特徴類似度が高い領域や同一の意味的ラベルを持つ領域を事前に定義されたルールで対応させるにとどまっている。第二に、条件付き特徴埋め込み(Conditional Feature Embedding)は、照合対象となるギャラリー画像に応じて、クエリ画像の全体的特徴を動的に調整する必要がある。しかし、多くの既存手法は参照画像の情報を無視している。本研究では、対応関係を捉えるための「対応注目モジュール(correspondence attention module)」と、差異に基づくGCN(discrepancy-based GCN)という新規技術を導入し、これら2つのパターンを統一的な枠組みに統合したエンドツーエンド型ReID手法、CACE-Net((C)lue(A)lignment and (C)onditional (E)mbedding)を提案する。実験の結果、CACE-Netは3つの公開データセットにおいて最先端の性能を達成した。