HyperAIHyperAI

Command Palette

Search for a command to run...

Fusion von Haltungs- und Positionsrepräsentationen für die Handsignaturerkennung basierend auf Punktwolken

Mattias P Heinrich Alexander Bigalke

Zusammenfassung

Die Handsignalerkennung kann von der direkten Verarbeitung von 3D-Punktwolkensequenzen profitieren, da diese reichhaltige geometrische Informationen enthalten und die Lernung ausdrucksstarker räumlich-zeitlicher Merkmale ermöglichen. Derzeit eingesetzte Einzelstrom-Modelle können jedoch nicht ausreichend mehrskalige Merkmale erfassen, die sowohl feinkörnige lokale Haltungsvariationen als auch globale Handbewegungen umfassen. Daher schlagen wir ein neuartiges Doppelstrom-Modell vor, das die Lernung lokaler und globaler Merkmale entkoppelt. Diese werden schließlich in einem LSTM zur zeitlichen Modellierung zusammengeführt. Um sicherzustellen, dass der globale und der lokale Strom ergänzende Position- und Haltungsmerkmale erfassen, schlagen wir die Verwendung unterschiedlicher 3D-Lernarchitekturen in beiden Strömen vor. Insbesondere überzeugen state-of-the-art-Punktwolken-Netzwerke in dem lokalen Strom bei der Erfassung feiner Haltungsvariationen aus rohen Punktwolken. Zur Verfolgung von Handbewegungen im globalen Strom kombinieren wir eine Kodierung mit residualen Basis-Punktmengen mit einem vollständig verbundenen DenseNet. Wir evaluieren die Methode anhand der Datensätze Shrec'17 und DHG und erzielen dabei state-of-the-art-Ergebnisse bei reduziertem Rechenaufwand. Der Quellcode ist unter https://github.com/multimodallearning/hand-gesture-posture-position verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Fusion von Haltungs- und Positionsrepräsentationen für die Handsignaturerkennung basierend auf Punktwolken | Paper | HyperAI