Schnelle und robuste dynamische Handgestenerkennung durch Extraktion von Schlüsselbildern und Merkmalsfusion

Die Gestenerkennung ist ein aktuelles Thema im Bereich der Computer Vision und Mustererkennung, das eine entscheidende Rolle bei natürlichen Mensch-Computer-Schnittstellen spielt. Obwohl in letzter Zeit große Fortschritte gemacht wurden, bleibt die schnelle und robuste Erkennung von Handgesten ein offenes Problem, da die bestehenden Methoden die Leistung und Effizienz noch nicht gleichzeitig ausreichend ausbalanciert haben. Um diese Lücke zu schließen, kombiniert diese Arbeit Bildentropie und Dichteclustering, um Schlüsselbilder aus Handgestenvideos für weitere Merkmalsextraktion zu nutzen, was die Erkennungseffizienz verbessern kann. Darüber hinaus wird auch eine Merkmalsfusionstrategie vorgeschlagen, um die Merkmalsrepräsentation weiter zu verbessern und damit die Erkennungsleistung zu steigern. Um unseren Ansatz in einer "wild" (freien) Umgebung zu validieren, stellen wir zwei neue Datensätze vor: den HandGesture-Datensatz und den Action3D-Datensatz. Experimente zeigen konsistent, dass unsere Strategie wettbewerbsfähige Ergebnisse auf den Datensätzen von Northwestern University, Cambridge, HandGesture und Action3D erzielt. Unser Code und unsere Datensätze werden unter https://github.com/Ha0Tang/HandGestureRecognition veröffentlicht.