Dynamische Graphen für die Erkennung von Handgesten durch räumlich-zeitliche Aufmerksamkeit konstruieren

Wir schlagen eine Methode zur Handgestenerkennung vor, die auf dynamischen graphbasierten räumlich-zeitlichen Aufmerksamkeitsmechanismen (Dynamic Graph-Based Spatial-Temporal Attention, DG-STA) basiert. Das Kernkonzept besteht darin, zunächst einen vollständig verbundenen Graphen aus einem Hand-Skelett zu konstruieren, wobei die Knotenattribute und Kanten dann durch einen Selbst-Aufmerksamkeitsmechanismus automatisch gelernt werden, der sowohl im räumlichen als auch im zeitlichen Bereich arbeitet. Darüber hinaus schlagen wir vor, räumlich-zeitliche Hinweise der Gelenkpositionen zu nutzen, um eine robuste Erkennung unter schwierigen Bedingungen zu gewährleisten. Zudem wird ein neuer räumlich-zeitlicher Maskierungsansatz angewendet, um den Rechenaufwand um 99 % erheblich zu reduzieren. Wir führen umfangreiche Experimente auf Benchmarks (DHG-14/28 und SHREC'17) durch und beweisen die überlegene Leistungsfähigkeit unserer Methode im Vergleich zu den besten bisher bekannten Verfahren. Der Quellcode ist unter https://github.com/yuxiaochen1103/DG-STA abrufbar.