HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Fusion von Haltungs- und Positionsrepräsentationen für die Handsignaturerkennung basierend auf Punktwolken

{Mattias P Heinrich Alexander Bigalke}

Abstract

Die Handsignalerkennung kann von der direkten Verarbeitung von 3D-Punktwolkensequenzen profitieren, da diese reichhaltige geometrische Informationen enthalten und die Lernung ausdrucksstarker räumlich-zeitlicher Merkmale ermöglichen. Derzeit eingesetzte Einzelstrom-Modelle können jedoch nicht ausreichend mehrskalige Merkmale erfassen, die sowohl feinkörnige lokale Haltungsvariationen als auch globale Handbewegungen umfassen. Daher schlagen wir ein neuartiges Doppelstrom-Modell vor, das die Lernung lokaler und globaler Merkmale entkoppelt. Diese werden schließlich in einem LSTM zur zeitlichen Modellierung zusammengeführt. Um sicherzustellen, dass der globale und der lokale Strom ergänzende Position- und Haltungsmerkmale erfassen, schlagen wir die Verwendung unterschiedlicher 3D-Lernarchitekturen in beiden Strömen vor. Insbesondere überzeugen state-of-the-art-Punktwolken-Netzwerke in dem lokalen Strom bei der Erfassung feiner Haltungsvariationen aus rohen Punktwolken. Zur Verfolgung von Handbewegungen im globalen Strom kombinieren wir eine Kodierung mit residualen Basis-Punktmengen mit einem vollständig verbundenen DenseNet. Wir evaluieren die Methode anhand der Datensätze Shrec'17 und DHG und erzielen dabei state-of-the-art-Ergebnisse bei reduziertem Rechenaufwand. Der Quellcode ist unter https://github.com/multimodallearning/hand-gesture-posture-position verfügbar.

Benchmarks

BenchmarkMethodikMetriken
hand-gesture-recognition-on-dhg-14FPPR-PCD
Accuracy: 92.0
hand-gesture-recognition-on-dhg-28FPPR-PCD
Accuracy: 91.7
hand-gesture-recognition-on-shrec-2017FPPR-PCD
14 Gestures Accuracy: 96.1
28 Gestures Accuracy: 95.2

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Fusion von Haltungs- und Positionsrepräsentationen für die Handsignaturerkennung basierend auf Punktwolken | Forschungsarbeiten | HyperAI