LInKs "Lifting Independent Keypoints" -- 部分姿勢リフティングによる遮蔽処理と2D-3Dヒューマンポーズ推定の精度向上

私たちはLInKs（Linking Invisible Keypoints in 3D space）という新しい非教師あり学習手法を提案します。この手法は、単一の画像から得られる2次元運動骨格から、遮蔽が存在する場合でも3次元人間姿勢を復元することを目的としています。当手法は独自の2段階プロセスに従っており、まず遮蔽された2次元姿勢を3次元領域に引き上げ、その後部分的に再構築された3次元座標を使用して遮蔽部分を補完するという手順で進められます。この「引き上げてから補完」アプローチは、2次元空間だけで姿勢を完成させるモデルと比較して、著しく精度の高い結果をもたらします。さらに、私たちは正規化フローの安定性と尤度推定を改善するために、従来の研究で使用されていた主成分分析（PCA）による次元削減に代わるカスタムサンプリング関数を開発しました。また、2次元運動骨格の異なる部分が独立して引き上げられることの可否について初めて調査を行い、その結果、現在の引き上げアプローチにおける誤差が減少することが確認されました。これは長距離キーポイント相関の低減によるものと考えています。詳細な評価では、様々な現実的な遮蔽シナリオにおける誤差を定量的に解析し、当モデルの多様性と適用範囲を示しています。当手法は他の2次元空間での姿勢完成モデルと比較して、あらゆる種類の遮蔽に対処する際の一貫した優位性を示しており、遮蔽がない状況下でも一貫した精度を発揮します。Human3.6Mデータセットでの先行研究との比較では、再構築誤差が7.9%減少していることが証明されています。さらに当方法は、遮蔽がある場合でも完全な3次元姿勢を正確に取得できる点で優れており、完全な2次元姿勢情報が利用できない状況での高適用性が特徴です。