要約
単眼ビデオの3D多人物姿勢推定において、人物間の遮蔽や密接な相互作用が人検出の誤りや関節グループ化の信頼性低下を引き起こすことがあります。既存のトップダウン手法は人検出に依存しているため、これらの問題に影響を受けやすいです。一方、既存のボトムアップ手法は人検出を使用せず、すべての人を一度に同じスケールで処理するため、複数人のスケール変動に対して敏感になります。これらの課題に対処するために、私たちはトップダウンとボトムアップアプローチの統合を提案し、それぞれの長所を活用します。私たちのトップダウンネットワークは、画像パッチ内の一人ではなく全人物から人体関節を推定することで、誤ったバウンディングボックスに対する堅牢性を高めます。また、ボトムアップネットワークは人検出に基づく正規化されたヒートマップを取り入れており、スケール変動への対応能力が向上しています。最後に、トップダウンとボトムアップネットワークから推定された3D姿勢情報を統合ネットワークに入力し、最終的な3D姿勢を得ます。さらに、既存のポーズ識別器が単一人物向けに設計されており、自然な人物間相互作用を評価できないという問題に対処するために、私たちは二人のポーズ識別器を提案します。この識別器は自然な二人間相互作用を強制します。また、3D地面真データの不足に対処するため、半教師あり学習手法も適用しました。定量的および定性的評価により、当方法が最先端ベースラインと比較して有効であることが示されています。