Ein groß angelegtes RGB-D Aktionen-Datensatz mit variierenden Ansichten für die Erkennung menschlicher Aktionen aus beliebigen Perspektiven

Aktuelle Forschungen im Bereich der Aktionserkennung konzentrieren sich hauptsächlich auf die Erkennung aus einer einzelnen Sicht und aus mehreren Sichten, was den Anforderungen von Mensch-Roboter-Interaktion (HRI) bei der Erkennung von Aktionen aus beliebigen Blickwinkeln kaum gerecht wird. Der Mangel an Datensätzen stellt ebenfalls ein Hindernis dar. Um Daten für die Erkennung von Aktionen aus beliebigen Blickwinkeln bereitzustellen, haben wir einen neuen, groß angelegten RGB-D-Aktionsdatensatz für die Analyse von Aktionen aus beliebigen Blickwinkeln gesammelt. Dieser Datensatz umfasst RGB-Videos, Tiefeninformationen und Skelettfolgen. Der Datensatz enthält Aktionssamples, die aus 8 festgelegten Blickwinkeln und variierenden-Blickwinkel-Sequenzen erfasst wurden, wobei letztere den gesamten 360-Grad-Blickwinkel abdecken. Insgesamt wurden 118 Personen eingeladen, 40 Kategorien von Aktionen darzustellen, und es wurden 25.600 Video-Samples gesammelt. Unser Datensatz beinhaltet eine größere Anzahl von Teilnehmern, mehr Blickwinkeln und eine große Anzahl von Samples. Vor allem ist es der erste Datensatz, der Sequenzen mit einem vollständigen 360-Grad-Blickwinkel in variierenden Ansichten enthält. Der Datensatz bietet ausreichende Daten für die Mehrblickanalyse, die Querblickanalyse und die Analyse von Aktionen aus beliebigen Blickwinkeln. Darüber hinaus schlagen wir ein View-guided Skeleton CNN (VS-CNN) vor, um das Problem der Erkennung von Aktionen aus beliebigen Blickwinkeln anzugehen. Die Experimentsergebnisse zeigen, dass das VS-CNN überzeugende Leistungen erzielt.