要約
私たちは、人間の姿勢が異なる身体部位の生物学的な制約により、強力なグループ間の構造的相関とキーポイント間の空間結合を示すことを観察しています。このグループ間の構造的相関は、人間の姿勢推定の精度と堅牢性を向上させるために活用できます。本研究では、訓練中にキーポイント間の構造的相関を特徴化し学習する自己制約型予測検証ネットワークを開発しました。推論段階では、検証ネットワークからのフィードバック情報により、姿勢予測のさらなる最適化を行うことができ、これにより人間の姿勢推定の性能が大幅に向上します。具体的には、人間の身体部位の生物学的な構造に基づいてキーポイントをグループに分割します。各グループ内でさらに高信頼度ベースキーポイントと低信頼度ターゲットキーポイントという2つのサブセットに分割します。私たちは、これらのキーポイントサブセット間で前向きおよび後ろ向き予測を行う自己制約型予測検証ネットワークを開発しました。姿勢推定や一般的な予測タスクにおける基本的な課題は、真値が利用できないため、得られた姿勢推定または予測結果が正確かどうかを確認するメカニズムがないことです。成功裏に学習されると、検証ネットワークは前向き姿勢予測に対する精度検証モジュールとして機能します。推論段階では、高信頼度キーポイント上の自己制約損失を目的関数として用いることで、低信頼度キーポイントの姿勢推定結果の局所最適化をガイドすることができます。我々がベンチマークデータセットMS COCOおよびCrowdPoseで行った広範な実験結果は、提案手法が姿勢推定結果を大幅に改善できることを示しています。