Maximale Margen strukturiertes Lernen mit tiefen Netzwerken für die 3D-Pose-Schätzung von Menschen

Dieses Papier konzentriert sich auf das strukturierte Ausgabelernen unter Verwendung tiefer Neuronaler Netze zur Schätzung der 3D-Menschlichen-Pose aus monoaularen Bildern. Unser Netzwerk nimmt ein Bild und eine 3D-Pose als Eingaben entgegen und gibt einen Score-Wert aus, der hoch ist, wenn das Bild-Pose-Paar übereinstimmt, und niedrig, wenn dies nicht der Fall ist. Die Netzwerkstruktur besteht aus einem Faltungsneuronalen Netz (Convolutional Neural Network) zur Extraktion von Bildmerkmalen, gefolgt von zwei Unter-Netzen, die die Bildmerkmale und die Pose in eine gemeinsame Einbettung transformieren. Die Score-Funktion ist dann das Skalarprodukt zwischen den Bild- und Pose-Einbettungen. Die Bild-Pose-Einbettung und die Score-Funktion werden mithilfe einer Maximum-Margin-Kostenfunktion gemeinsam trainiert. Unser vorgeschlagenes Framework kann als eine spezielle Form strukturierter Support Vector Machines interpretiert werden, bei denen der gemeinsame Merkmalsraum diskriminativ mit Hilfe tiefer Neuronaler Netze gelernt wird. Wir testen unser Framework auf dem Human3.6M-Datensatz und erzielen vergleichsweise erstklassige Ergebnisse gegenüber anderen aktuellen Methoden. Schließlich präsentieren wir Visualisierungen des Bild-Pose-Einbettungsraums, die zeigen, dass das Netzwerk eine hochstufige Einbettung von Körperausrichtung und Pose-Konfiguration gelernt hat.