NTU RGB+D: Ein umfangreiches Datensatz für die Analyse von 3D menschlichen Aktivitäten

Neuere Ansätze in der tiefenbildbasierten Analyse menschlicher Aktivitäten erzielten herausragende Ergebnisse und bewiesen die Effektivität der 3D-Darstellung für die Klassifikation von Aktionen. Derzeit verfügbare Benchmarks für tiefenbildbasierte und RGB+D-basierte Aktionserkennung haben jedoch eine Reihe von Einschränkungen, darunter zu wenige Trainingsbeispiele, unterschiedliche Klassenlabels, Kamerasichten und eine geringe Vielfalt an Probanden. In dieser Arbeit stellen wir einen umfangreichen Datensatz für RGB+D-basierte Aktionserkennung vor, der mehr als 56.000 Videobeispiele und 4 Millionen Frames enthält, die von 40 verschiedenen Probanden aufgenommen wurden. Unser Datensatz umfasst 60 verschiedene Aktionklassen, einschließlich täglicher, gegenseitiger und gesundheitsbezogener Aktivitäten. Darüber hinaus schlagen wir eine neue rekurrente Neuronale Netzstruktur vor, um die langfristige zeitliche Korrelation der Merkmale für jeden Körperteil zu modellieren und diese für eine verbesserte Aktionserkennung zu nutzen. Experimentelle Ergebnisse zeigen die Vorteile der Anwendung tiefer Lernmethoden im Vergleich zu den besten manuell gestalteten Merkmalen bei den vorgeschlagenen Evaluationskriterien für unseren Datensatz in Bezug auf Subjektkreuzvalidierung (cross-subject) und Sichtkreuzvalidierung (cross-view). Die Einführung dieses großen Datensatzes wird es der Forschergemeinschaft ermöglichen, verschiedene datenhungrige Lernverfahren für die Aufgabe der tiefenbildbasierten und RGB+D-basierten Analyse menschlicher Aktivitäten anzuwenden, weiterzuentwickeln und anzupassen.