特徴消去と拡散ネットワークを用いた被覆人物の再識別

遮蔽された人物再識別（ReID）は、異なるカメラビュー間で遮蔽された人物画像を全体像と照合することを目指しています。対象となる歩行者（Target Pedestrians: TP）は、通常、非歩行者による遮蔽（Non-Pedestrian Occlusions: NPO）や非対象歩行者（Non-Target Pedestrians: NTP）によって妨げられます。これまでの手法は主にモデルのNPOに対する堅牢性向上に焦点を当て、NTPからの特徴汚染を無視していました。本論文では、NPOとNTPを同時に処理する新しい特徴消去および拡散ネットワーク（Feature Erasing and Diffusion Network: FED）を提案します。具体的には、提案した遮蔽消去モジュール（Occlusion Erasing Module: OEM）によりNPOの特徴が消去されます。このプロセスは、全体的な歩行者画像にNPOをシミュレートし、正確な遮蔽マスクを生成するNPO拡張戦略によって補完されます。その後、学習可能なクロスアテンションメカニズムを通じて新しい特徴拡散モジュール（Feature Diffusion Module: FDM）が提案され、他の記憶された特徴との歩行者の表現の拡散により、特徴空間内でNTPの特性を合成します。OEMから得られる遮蔽スコアのガイダンスのもとで、特徴拡散プロセスは主に可視部分的身体部位に対して行われます。これにより、合成されたNTP特性の品質が保証されます。提案したFEDネットワークにおけるOEMとFDMの共同最適化により、モデルのTPへの認識能力が大幅に向上し、NPOとNTPの影響が軽減されます。さらに、提案したFDMは訓練段階での補助モジュールとしてのみ機能し、推論段階では廃棄されるため、推論時の計算負荷がほとんど増えません。遮蔽された人物再識別および全体的な人物再識別のベンチマークでの実験結果は、FEDが最先端技術よりも優れていることを示しており、Occluded-REIDにおいてFEDは86.3%のRank-1精度を達成し、他手法を最低4.7%上回っています。