17日前

衣装変更付き人物再識別におけるコアテンション整合型相互クロスアテンション

{xiangyang xue, Yanwei Fu, Xuelin Qian, Qizao Wang}
衣装変更付き人物再識別におけるコアテンション整合型相互クロスアテンション
要約

人物再識別(Person Re-identification, Re-ID)は広く研究されており、顕著な進展を遂げている。しかし、従来の人物Re-ID手法は主に衣装に依存する色・外観特徴に依存しており、実世界の状況下で人物が服を変更した場合、その信頼性が著しく低下するという課題がある。このような問題を踏まえた「服の変更を考慮した人物再識別」(Cloth-changing person Re-ID)は近年注目を集めつつあるが、衣装の変化に伴い画像特徴空間内でクラス内変動が大きく、クラス間の差が小さくなるため、識別的な人物アイデンティティ特徴を学習することはより困難である。外観特徴に加え、画像内に身体の形状など、既知のアイデンティティ関連特徴が暗黙的に埋め込まれていることがある。本論文では、まず服の変更時に人物を区別するための重要な手がかりである「身体形状の意味情報」を効果的に表現するため、新たな形状意味埋め込みモジュール(Shape Semantics Embedding, SSE)を提案する。さらに、画像特徴をより効果的に補完するため、共注意力統合相互注意フレームワーク(Co-attention Aligned Mutual Cross-attention, CAMC)を導入する。従来の注目メカニズムに基づく特徴融合戦略とは異なり、本フレームワークは複数モダリティの特徴をまず統一的にアライメントし、その後、画像空間と身体形状空間の間で、衣装に依存しないアイデンティティに敏感な知識を効果的に相互に交換・伝達する。その結果、より堅牢な特徴表現が得られる。本研究は、Transformerを用いて服の変更を考慮した人物再識別におけるマルチモーダル相互作用を処理する初めての試みである。広範な実験により、提案手法の有効性が確認され、複数の服変更対応人物再識別ベンチマークにおいて優れた性能を達成した。コードは以下のURLで公開される予定である:https://github.com/QizaoWang/CAMC-CCReID。