NTU RGB+D 120: Eine umfangreiche Benchmark-Datenbank für die 3D-Bewegungsanalyse von Menschen

Forschungen zur tiefenbasierten Analyse menschlicher Aktivitäten erzielten herausragende Ergebnisse und bewiesen die Effektivität der 3D-Darstellung für die Aktionserkennung. Die bestehenden tiefenbasierten und RGB+D-basierten Benchmarks weisen jedoch eine Reihe von Einschränkungen auf, darunter das Fehlen groß angelegter Trainingsbeispiele, realistischer Anzahl unterschiedlicher Klassenkategorien, Vielfalt der Kamerasichten, variierender Umgebungsbedingungen und diverser menschlicher Probanden. In dieser Arbeit stellen wir einen groß angelegten Datensatz für die RGB+D-basierte Aktionserkennung vor, der von 106 verschiedenen Probanden gesammelt wurde und mehr als 114.000 Videobeispiele sowie 8 Millionen Frames enthält. Dieser Datensatz umfasst 120 verschiedene Aktionklassen, darunter tägliche, gegenseitige und gesundheitsbezogene Aktivitäten. Wir evaluieren die Leistung einer Reihe bestehender Methoden zur 3D-Aktivitätsanalyse anhand dieses Datensatzes und zeigen den Vorteil des Einsatzes tiefer Lernmethoden für die tiefenbasierte Aktionserkennung. Darüber hinaus untersuchen wir ein neuartiges Problem der One-Shot-3D-Aktionserkennung in unserem Datensatz und schlagen ein einfaches aber effektives Framework namens Action-Part Semantic Relevance-aware (APSR) für diese Aufgabe vor, das vielversprechende Ergebnisse bei der Erkennung neuer Aktionklassen liefert. Wir glauben, dass die Einführung dieses großen Datensatzes es der Community ermöglichen wird, verschiedene datenhungrige Lernverfahren für die tiefenbasierte und RGB+D-basierte Verständnis menschlicher Aktivitäten anzuwenden, anzupassen und weiterzuentwickeln. [Der Datensatz ist unter folgender URL verfügbar: http://rose1.ntu.edu.sg/Datasets/actionRecognition.asp]