ビデオにおける人物再識別向けの空間時相相関とトポロジー学習

ビデオを基にした人物再識別は、非重複カメラ視点間のビデオシーケンスから歩行者をマッチングすることを目指しています。ビデオ人物再識別の鍵となる要因は、ビデオシーケンスから空間的および時間的な手がかりを効果的に活用することです。本研究では、クロススケールの空間時間相関モデルを用いて差別的かつ堅牢な表現を追求する新しい空間時間相関とトポロジー学習フレームワーク（Spatial-Temporal Correlation and Topology Learning framework: CTL）を提案します。特に、CTLはCNNバックボーンとキーポイント推定器を使用して、人間の体から複数の粒度で意味論的な局所特徴を抽出し、グラフノードとして利用します。このフレームワークは、全体的な文脈情報と人間の体の物理的な接続性を考慮して、マルチスケールグラフを構築するためのコンテクスト強化型トポロジーを探求します。さらに、3Dグラフ畳み込みとクロススケールグラフ畳み込みが設計されており、階層的な空間時間依存関係と構造情報を捉えるために直接的なクロススペースタイムおよびクロススケール情報伝播が可能になります。これらの2つの畳み込みを共同で実行することで、CTLは外見情報との補完性のある包括的な手がかりを効果的に掘り下げて表現能力を向上させます。2つのビデオベンチマークデータセットにおける広範な実験により、提案手法の有効性と最先端性能が示されています。