Lifting from the Deep: Konvolutive 3D-Pose-Schätzung aus einem einzelnen Bild

Wir schlagen eine einheitliche Formulierung für das Problem der 3D-Pose-Schätzung von Menschen aus einem einzelnen rohen RGB-Bild vor, die gleichzeitig über die 2D-Gelenkschätzung und die 3D-Pose-Rekonstruktion nachdenkt, um beide Aufgaben zu verbessern. Unser Ansatz ist integrativ und verbindet wahrscheinlichkeitstheoretisches Wissen über die 3D-Pose von Menschen mit einer mehrstufigen CNN-Architektur (Convolutional Neural Network). Dabei wird das Wissen über plausibel angeordnete 3D-Landmarken genutzt, um die Suche nach besseren 2D-Positionen zu verfeinern. Der gesamte Prozess wird end-to-end trainiert, ist extrem effizient und erzielt Stand-of-the-Art-Ergebnisse auf Human3.6M, indem er sowohl bei den 2D- als auch bei den 3D-Fehlern frühere Ansätze übertreffen.