GaitSTR: 順次的な2ストリーム精製を用いた歩行認識

歩行認識は、個人をその歩行シーケンスに基づいて識別することを目指しており、対象者の協力を必要とせず遠距離から観測できるため、有用なバイオメトリックモダリティとして機能します。個人の歩行シーケンスを表現する際には、シルエットと骨格が主に使用される2つのモダリティです。シルエットシーケンスは、異なる身体部位が重なる場合詳細な部分情報に欠け、持ち物や衣服の影響を受けやすいという特徴があります。一方、関節とそれらを結ぶ骨で構成される骨格は、異なる部位間でより正確な部分情報を提供しますが、遮蔽や低品質の画像に対して敏感であり、シーケンス内のフレームごとの結果に一貫性がないことが問題となります。本論文では、シルエットとともに骨格の2ストリーム表現を使用した歩行認識について検討しています。シルエットと骨格の組み合わせデータを融合することで、グラフ畳み込みにおける自己訂正を通じて2ストリームの骨格、関節、および骨を洗練し、さらに時間的な一貫性を持つシルエットからのクロスモーダル訂正を行います。我々は実験により示しましたが、洗練された骨格を使用することで、追加のアノテーションなしで最新手法よりも公共の歩行認識データセット上でモデル性能が向上することを確認しました。