多人3D姿勢推定のための順序不変関係ネットワーク

単一のRGB画像から複数人の3次元姿勢を復元することは、固有の2D-3D深度の曖昧さ、人間同士の遮蔽、および体の切断といった要因により、非常に困難な問題となっています。これらの課題に対処するために、最近の研究では異なる人々に対して同時に推論を行うことで有望な結果が示されています。しかし、多くの場合、これはペアワイズの人間相互作用のみを考慮して行われており、全体的なシーン表現において長距離相互作用を捉える能力に制限が生じています。この問題は、シーン内のすべての人々を共同で処理する手法によって解決されつつありますが、これらの手法は個々の人物を基準として定義し、事前に決まった人物順序に依存しており、その選択に敏感です。本稿では、これらの制約を超えて、入力順序に関係なく長距離相互作用を捉える複数人の3次元姿勢推定手法を提案します。そのためには、初期の3次元姿勢（市販の検出器によって推定されたもの）が潜在的に損傷を受けている場合でも成功裏に改善できるような残差型の置換不変ネットワークを構築しました。残差関数はSet Transformerブロックを通じて学習され、初期姿勢間の相互作用をその順序や数に関わらずモデル化します。詳細な評価実験により、提案手法が初期推定された3次元姿勢の性能を大幅に向上させることができることが示され、標準的なベンチマークにおいて最先端の結果を得ています。さらに、提案モジュールは計算効率が高く、複数人のシーンにおける任意の3次元姿勢検出器との組み合わせで使用できる可能性があります。