
既存の3次元人間姿勢推定器は、訓練データに含まれる2D-3D姿勢ペアの多様性が限られているため、新しいデータセットへの汎化性能が低いという問題があります。この問題を解決するために、PoseAugという新しい自動拡張フレームワークを提案します。PoseAugは、訓練データの姿勢をより多様な方向に拡張し、訓練された2Dから3Dへの姿勢推定器の汎化性能を向上させる学習機能を持っています。具体的には、PoseAugは新たな姿勢拡張子を導入し、この拡張子は微分可能な操作を通じて姿勢の様々な幾何学的要因(例えば、ポーズ、体格、視点と位置)を調整する能力を学びます。このような微分可能な能力により、拡張子は3次元姿勢推定器と共に最適化され、推定誤差をフィードバックとして利用してオンラインでより多様かつ難しい姿勢を生成することができます。さらに、PoseAugは局所的な関節角度の妥当性評価を行うための新たな部位認識キネマティックチェーン空間(Part-aware Kinematic Chain Space)を導入し、それに基づいて識別モジュールを開発することで拡張された姿勢の妥当性を確保します。これらの巧妙な設計により、PoseAugは既存のオフライン拡張方法よりもより多様でありながら妥当な姿勢を生成できることになり、その結果として姿勢推定器の汎化性能が向上します。PoseAugは汎用的であり、さまざまな3次元姿勢推定器に簡単に適用できます。広範囲にわたる実験によって示されていますが、PoseAugはシナリオ内およびシナリオ間の両方のデータセットで明確な改善をもたらします。特にクロスデータセット評価設定においてMPI-INF-3DHPで88.6%の3D PCK(Percentage of Correct Keypoints)を達成しており、従来の最良のデータ拡張手法に基づくものよりも9.1%向上しています。コードは以下のURLで入手可能です: https://github.com/jfzhang95/PoseAug.