NTU-X: Ein verbessertes großskaliges Datensatz für die Verbesserung der posebasierten Erkennung subtiler menschlicher Aktionen

Der Mangel an feinkörnigen Gelenken (Gesichtsgelenke, Finger) stellt eine grundlegende Leistungsbegrenzung für aktuelle Skelett-basierte Aktionserkennungsmodelle dar. Trotz dieser Begrenzung konzentrieren sich die Bemühungen der Community bisher ausschließlich auf die Entwicklung neuer Architekturen. Um diese spezifische Schwachstelle anzugehen, stellen wir zwei neue, posebasierte Datensätze für menschliche Aktionserkennung vor: NTU60-X und NTU120-X. Unsere Datensätze erweitern den bisher größten verfügbaren Datensatz für Aktionserkennung, NTU-RGBD. Neben den 25 Körpergelenken pro Skelett, wie im ursprünglichen NTU-RGBD, enthalten die Datensätze NTU60-X und NTU120-X zudem Finger- und Gesichtsgelenke, was eine detailliertere Skelettrepräsentation ermöglicht. Wir passen die aktuell fortschrittlichsten Ansätze angemessen an, um das Training mit den vorgestellten Datensätzen zu ermöglichen. Unsere Ergebnisse zeigen die Wirksamkeit der NTU-X-Datensätze bei der Überwindung der genannten Leistungsbegrenzung und führen insgesamt sowie für bisher schlechtest performende Aktionskategorien zu einer Verbesserung der aktuellen State-of-the-Art-Leistung. Der Quellcode und vortrainierte Modelle sind unter https://github.com/skelemoa/ntu-x verfügbar.