Command Palette
Search for a command to run...
Lernen von Pose-Grammatik zur Kodierung der menschlichen Körperkonfiguration für die 3D-Pose-Schätzung
Lernen von Pose-Grammatik zur Kodierung der menschlichen Körperkonfiguration für die 3D-Pose-Schätzung
Fang Haoshu Xu Yuanlu Wang Wenguan Liu Xiaobai Zhu Song-Chun
Zusammenfassung
In diesem Artikel stellen wir eine Pose-Grammatik vor, um das Problem der 3D-Mensch-Pose-Schätzung anzugehen. Unser Modell nimmt 2D-Posen direkt als Eingabe und lernt eine verallgemeinerte 2D-3D-Zuordnungsfunktion. Das vorgeschlagene Modell besteht aus einem Basisnetzwerk, das effizient pose-orientierte Merkmale extrahiert, sowie einer Hierarchie von bidirektionalen rekurrenten neuronalen Netzen (BRNN), die explizit Wissen über die menschliche Körperkonfiguration (d. h. Kinematik, Symmetrie, motorische Koordination) integrieren. Dadurch werden hochwertige Einschränkungen bezüglich der menschlichen Pose erzwungen. Zur Verbesserung der Generalisierbarkeit entwickeln wir einen Pose-Sample-Simulator, der virtuelle Kameraansichten nutzt, um die Trainingsdaten zu erweitern. Wir validieren unsere Methode an öffentlichen Benchmarks für 3D-Menschenpose und schlagen ein neues Evaluationsprotokoll vor, das auf einem Cross-View-Setting basiert, um die Generalisierungsfähigkeit verschiedener Ansätze zu überprüfen. Experimentell beobachten wir, dass die meisten aktuellen State-of-the-Art-Methoden unter dieser Bedingung Schwierigkeiten haben, während unsere Methode diese Herausforderungen gut bewältigen kann.