DeciWatch: 2次元および3次元姿勢推定のための単純なベースライン

本論文では、ビデオベースの2D/3Dヒューマンポーズ推定において、既存の手法と比較して10倍の効率向上を達成し、性能低下なしで動作する単純な基準フレームワークを提案します。このフレームワークはDeciWatchと名付けられました。現在のソリューションがビデオの各フレームを推定するのとは異なり、DeciWatchは単純かつ効果的なサンプル-ノイズ除去-復元（sample-denoise-recover）フレームワークを導入しており、ヒューマンモーションの連続性と軽量なポーズ表現を利用しています。具体的には、DeciWatchは詳細推定のために10%未満のビデオフレームを一様にサンプリングし、効率的なトランスフォーマー構造を使用して推定された2D/3Dポーズからノイズを除去し、その後別のトランスフォーマーに基づくネットワークを使用して残りのフレームを正確に復元します。3つのビデオベースのヒューマンポーズ推定およびボディメッシュ復元タスクにおける4つのデータセットを使用した包括的な実験結果により、DeciWatchの効率性和有効性が検証されています。コードはhttps://github.com/cure-lab/DeciWatch で公開されています。