HyperAIHyperAI

Command Palette

Search for a command to run...

SHPR-Net: Tiefes semantisches Handpose-Regression aus Punktwolken

Xiangyang Ji Tae-Kyun Kim Cairong Zhang Xinghao Chen Guijin Wang

Zusammenfassung

Die Schätzung der 3D-Handpose ist ein zentrales Problem für die Mensch-Computer-Interaktion. Die meisten bestehenden, auf Tiefendaten basierenden Methoden zur Handpose-Schätzung verarbeiten entweder 2D-Tiefenkarten oder 3D-Volumina mittels 2D-/3D-Convolutional Neural Networks (CNNs). In diesem Artikel stellen wir ein tiefes Netzwerk zur semantischen Handpose-Regression (SHPR-Net) für die Handpose-Schätzung aus Punktmengen vor, das aus zwei Teilnetzwerken besteht: einem semantischen Segmentierungs-Teilnetzwerk und einem Handpose-Regressionsteilnetzwerk. Das semantische Segmentierungsnetzwerk weist jedem Punkt in der Punktmenge eine semantische Bezeichnung zu. Das Pose-Regression-Netzwerk integriert die semantischen Vorwissen sowohl durch Eingabefusion als auch durch späte Fusion und schätzt die endgültige Handpose ab. Zwei Transformationsmatrizen werden aus der Punktmenge gelernt und jeweils zur Transformation der Eingabepunktwolke und zur inversen Transformation der Ausgabe-Posen verwendet, wodurch das SHPR-Netzwerk robuster gegenüber geometrischen Transformationen wird. Experimente an den Handpose-Datensätzen NYU, ICVL und MSRA zeigen, dass unser SHPR-Netzwerk eine hohe Leistung erzielt, die mit den aktuellen State-of-the-Art-Methoden vergleichbar ist. Zudem zeigen wir, dass unsere Methode nahtlos auf die Schätzung der Handpose aus mehreren Tiefenansichten erweitert werden kann und auf dem NYU-Datensatz eine zusätzliche Verbesserung erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp