SHPR-Net: Tiefes semantisches Handpose-Regression aus Punktwolken

Die Schätzung der 3D-Handpose ist ein zentrales Problem für die Mensch-Computer-Interaktion. Die meisten bestehenden, auf Tiefendaten basierenden Methoden zur Handpose-Schätzung verarbeiten entweder 2D-Tiefenkarten oder 3D-Volumina mittels 2D-/3D-Convolutional Neural Networks (CNNs). In diesem Artikel stellen wir ein tiefes Netzwerk zur semantischen Handpose-Regression (SHPR-Net) für die Handpose-Schätzung aus Punktmengen vor, das aus zwei Teilnetzwerken besteht: einem semantischen Segmentierungs-Teilnetzwerk und einem Handpose-Regressionsteilnetzwerk. Das semantische Segmentierungsnetzwerk weist jedem Punkt in der Punktmenge eine semantische Bezeichnung zu. Das Pose-Regression-Netzwerk integriert die semantischen Vorwissen sowohl durch Eingabefusion als auch durch späte Fusion und schätzt die endgültige Handpose ab. Zwei Transformationsmatrizen werden aus der Punktmenge gelernt und jeweils zur Transformation der Eingabepunktwolke und zur inversen Transformation der Ausgabe-Posen verwendet, wodurch das SHPR-Netzwerk robuster gegenüber geometrischen Transformationen wird. Experimente an den Handpose-Datensätzen NYU, ICVL und MSRA zeigen, dass unser SHPR-Netzwerk eine hohe Leistung erzielt, die mit den aktuellen State-of-the-Art-Methoden vergleichbar ist. Zudem zeigen wir, dass unsere Methode nahtlos auf die Schätzung der Handpose aus mehreren Tiefenansichten erweitert werden kann und auf dem NYU-Datensatz eine zusätzliche Verbesserung erzielt.