HyperAIHyperAI

Command Palette

Search for a command to run...

Hierarchisches fensterbasiertes Graph-Attention-Netzwerk und ein großes Datensatz für die Erkennung isolierter indischer Gebärdensprache

Patra Suvajit ; Maitra Arkadip ; Tiwari Megha ; Kumaran K. ; Prabhu Swathy ; Punyeshwarananda Swami ; Samanta Soumitra

Zusammenfassung

Die automatische Erkennung von Gebärdensprache (GBS) ist eine wichtige Aufgabe in der Computer Vision-Gemeinschaft. Um ein robustes GBS-Erkennungssystem zu entwickeln, benötigen wir eine erhebliche Menge an Daten, die insbesondere bei der indischen Gebärdensprache (IGBS) fehlt. In dieser Arbeit stellen wir einen groß angelegten Datensatz für isolierte IGBS-Wörter und ein neues GBS-Erkennungsmodell basierend auf Skelettgraphstruktur vor. Der Datensatz umfasst 2002 im täglichen Leben häufig verwendete Wörter, die von 20 taub gebärdenden Erwachsenen (10 männlich und 10 weiblich) aufgezeichnet wurden (er enthält 40033 Videos). Wir schlagen ein GBS-Erkennungsmodell namens Hierarchisches Fenster Graph-Attention-Netzwerk (HWGAT) vor, das den Skelettgraph des oberen Körpers verwendet. Das HWGAT versucht, charakteristische Bewegungen durch die Betonung verschiedener Körperteile zu erfassen, die durch den menschlichen Skelettgraph induziert werden. Die Nützlichkeit des vorgestellten Datensatzes und die Effektivität unseres Modells werden durch umfangreiche Experimente evaluiert. Wir haben das vorgeschlagene Modell auf dem präsentierten Datensatz vortrainiert und es anschließend an verschiedenen Gebärdensprach-Datensätzen weiter angepasst, was die Leistung um 1,10, 0,46, 0,78 und 6,84 Prozentpunkte auf INCLUDE, LSA64, AUTSL und WLASL jeweils verbessert hat im Vergleich zu den bisher besten keypoint-basierten Modellen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp