2ヶ月前

部分アライメント双線形表現を用いた人物再識別

Yumin Suh; Jingdong Wang; Siyu Tang; Tao Mei; Kyoung Mu Lee
部分アライメント双線形表現を用いた人物再識別
要約

私たちは、人物再識別のために部位アライメント表現を学習する新しいネットワークを提案します。このネットワークは、姿勢や視点の変化、および信頼性の低い検出により人間検出間で部位がずれてしまう問題(部位ミスアライメント問題)に対処します。私たちのモデルは、2つのストリームから構成されています(1つは外観マップ抽出用、もう1つは部位マップ抽出用)と、部位アライメントマップを生成し空間的にプーリングする双線形プーリング層です。部位アライメントマップの各局所特徴量は、対応する局所外観記述子と部位記述子の双線形写像によって得られます。私たちの新しい表現は、対応する部位の局所類似度と重み付けされた外観類似度を組み合わせたものに相当する堅牢な画像マッチング類似度をもたらします。この部位アライメント表現は、部位ミスアライメント問題を大幅に軽減します。また、他のポーズガイド表現(例えば、各部位のバウンディングボックス上で表現を抽出する方法)に対して優位性を持ちます。これは、人物再識別に最適な部位記述子を学習することによるものです。ネットワークの訓練において、私たちの手法は人物再識別データセット上の任意の部位注釈を必要としません。代わりに、既存の姿勢推定ネットワークの事前学習済みサブネットワークを使用して部位サブストリームを初期化し、全体的なネットワークを再識別損失最小化に向けて訓練します。私たちは標準的なベンチマークデータセット(Market-1501, CUHK03, CUHK01, DukeMTMC)および標準的なビデオデータセットMARSでの実験結果を通じて、当手法が最先端の手法よりも優れていることを示すことでその有効性を確認しています。注:「双線形」(bilinear)という言葉は、「二重線形」または「バイリニア」などとも訳されることがあります。ただし、「双線形」が最も一般的な訳語であるためここでは使用しました。

部分アライメント双線形表現を用いた人物再識別 | 最新論文 | HyperAI超神経