Hierarchisches fensterbasiertes Graph-Attention-Netzwerk und ein großes Datensatz für die Erkennung isolierter indischer Gebärdensprache

Die automatische Erkennung von Gebärdensprache (GBS) ist eine wichtige Aufgabe in der Computer Vision-Gemeinschaft. Um ein robustes GBS-Erkennungssystem zu entwickeln, benötigen wir eine erhebliche Menge an Daten, die insbesondere bei der indischen Gebärdensprache (IGBS) fehlt. In dieser Arbeit stellen wir einen groß angelegten Datensatz für isolierte IGBS-Wörter und ein neues GBS-Erkennungsmodell basierend auf Skelettgraphstruktur vor. Der Datensatz umfasst 2002 im täglichen Leben häufig verwendete Wörter, die von 20 taub gebärdenden Erwachsenen (10 männlich und 10 weiblich) aufgezeichnet wurden (er enthält 40033 Videos). Wir schlagen ein GBS-Erkennungsmodell namens Hierarchisches Fenster Graph-Attention-Netzwerk (HWGAT) vor, das den Skelettgraph des oberen Körpers verwendet. Das HWGAT versucht, charakteristische Bewegungen durch die Betonung verschiedener Körperteile zu erfassen, die durch den menschlichen Skelettgraph induziert werden. Die Nützlichkeit des vorgestellten Datensatzes und die Effektivität unseres Modells werden durch umfangreiche Experimente evaluiert. Wir haben das vorgeschlagene Modell auf dem präsentierten Datensatz vortrainiert und es anschließend an verschiedenen Gebärdensprach-Datensätzen weiter angepasst, was die Leistung um 1,10, 0,46, 0,78 und 6,84 Prozentpunkte auf INCLUDE, LSA64, AUTSL und WLASL jeweils verbessert hat im Vergleich zu den bisher besten keypoint-basierten Modellen.