Effiziente mehrkanalige zeitliche Lern- und Nachfusionstrategie für die 3D-Gelenk-basierte Handaktivitäts-Erkennung

Die Erkennung von Aktivitäten der eigenen Hand ist eine anspruchsvolle Aufgabe, insbesondere wenn nur begrenzte Daten zur Verfügung stehen. In diesem Artikel greifen wir diese Herausforderung an, indem wir einen neuen hybriden Lernpipeline-Ansatz für die handbasierte Aktivitätsklassifikation auf der Grundlage von Skelettdaten vorschlagen, der aus drei Blöcken besteht. Zunächst werden für eine gegebene Folge von Gelenkpositionen der Hand räumliche Merkmale mittels einer speziell entwickelten Kombination lokaler und globaler räumlicher handgezeichneter Merkmale extrahiert. Anschließend werden zeitliche Abhängigkeiten mithilfe einer Multi-Stream-Lernstrategie erlernt. Schließlich wird ein Klassifikator für Handaktivitätssequenzen über unsere Post-Fusion-Strategie gelernt, die auf den zuvor erlernten zeitlichen Abhängigkeiten angewendet wird. Experimente, die auf zwei realen Datensätzen evaluiert wurden, zeigen, dass unser Ansatz die state-of-the-art-Methoden übertrifft. Weitere Ablationstudien vergleichen unsere Post-Fusion-Strategie mit drei traditionellen Fusionsbaselines und belegen eine Verbesserung der Genauigkeit um über 2,4 %.