NIKI: 3Dヒューマンポーズと形状推定のための逆運動学ニューラルネットワーク

3Dヒューマンポーズと形状推定の進歩に伴い、最先端の手法は、オクルージョンに対して堅牢であるか、または非オクルージョンの場合にピクセル単位の精度を達成することができます。しかし、これらの手法は同時に堅牢性とメッシュ画像の整合性を確保することはできません。本研究では、NIKI（Neural Inverse Kinematics with Invertible Neural Network）を提案します。NIKIは双方向の誤差をモデル化することで、オクルージョンに対する堅牢性を向上させつつ、ピクセル単位の精度を達成します。NIKIは逆伝播ネットワークを使用して前向きプロセスと逆向きプロセスから学習できます。逆向きプロセスでは、モデルが信頼できる3Dポーズ多様体から誤差を分離することで堅牢な3Dヒューマンポーズ推定を行います。前向きプロセスでは、ゼロ誤差境界条件を強制することで信頼できる関節位置への感度を向上させ、より良いメッシュ画像整合性を実現します。さらに、NIKIはねじれとスイング分解（twist-and-swing decomposition）を使用して解析的な逆運動学アルゴリズムを模倣し、解釈可能性を高めます。標準的なベンチマークおよびオクルージョン特異的なベンチマークでの実験結果により、NIKIの有効性が示されています。本研究では堅牢かつ整合性の高い結果を得ることに成功しています。コードは https://github.com/Jeff-sjtu/NIKI で公開されています。