Genauige 3D-Handpose-Schätzung für die Gesamtkörper-3D-Mensch-Modell-Schätzung

Die Schätzung von 3D-Menschenmeshes für den gesamten Körper zielt darauf ab, gleichzeitig den 3D-Menschenkörper, die Hände und das Gesicht zu rekonstruieren. Obwohl mehrere Methoden vorgeschlagen wurden, bleibt die genaue Vorhersage der 3D-Hände – bestehend aus 3D-Wrist und Fingern – weiterhin herausfordernd, und zwar aus zwei Gründen. Erstens wurde bei der Vorhersage der 3D-Wristen nicht ausreichend auf die menschliche Kinematikkette geachtet. Zweitens nutzen bisherige Ansätze Körpermerkmale zur Schätzung der 3D-Fingerrotationen, wobei die Körpermerkmale jedoch kaum Informationen über die Finger enthalten. Um diese Einschränkungen zu überwinden, stellen wir Hand4Whole vor, das zwei wesentliche Vorteile gegenüber früheren Arbeiten aufweist. Erstens haben wir Pose2Pose entwickelt, ein Modul, das Gelenkmerkmale zur Schätzung der 3D-Gelenkrotationen nutzt. Mittels Pose2Pose nutzt Hand4Whole Merkmale der Hand-MCP-Gelenke, um die 3D-Wristen vorherzusagen, da die MCP-Gelenke in der menschlichen Kinematikkette einen erheblichen Beitrag zur Rotation der 3D-Wristen leisten. Zweitens verzichtet Hand4Whole bei der Schätzung der 3D-Fingerrotationen auf die Nutzung von Körpermerkmalen. Hand4Whole wird end-to-end trainiert und liefert im Vergleich zu früheren Methoden zur 3D-Menschmesh-Schätzung des gesamten Körpers deutlich bessere Ergebnisse für die Hände. Der Quellcode ist unter folgender Adresse verfügbar: https://github.com/mks0601/Hand4Whole_RELEASE.