RHM: Robot House Multi-view Human Activity Recognition Datensatz

Infolge der jüngsten fortschreitenden Entwicklung tiefer neuronaler Netze und der verbesserten Datensatzkapazitäten wächst der Bereich der menschlichen Aktionserkennung (Human Action Recognition, HAR) sowohl hinsichtlich der verfügbaren Datensätze als auch der tiefen Modelle rasant. Dennoch bestehen weiterhin Lücken bei Datensätzen, die speziell den Bereich der Robotik und die Mensch-Roboter-Interaktion abdecken. Um diese Lücke zu schließen, präsentieren und führen wir einen neuen multiview-Datensatz ein: den Robot House Multi-View (RHM)-Datensatz. Dieser enthält vier Ansichten: Vorderansicht, Rückansicht, Deckenansicht (Omni) sowie die Sicht des Roboters. Der Datensatz umfasst 14 Aktionsklassen mit jeweils 6.701 Videoclips pro Ansicht, was insgesamt 26.804 Videoclips für die vier Ansichten ergibt. Die Länge der Videoclips liegt zwischen 1 und 5 Sekunden. Videoclips mit gleicher Nummer und derselben Klasse sind in den verschiedenen Ansichten synchronisiert. Im zweiten Teil dieser Arbeit untersuchen wir, wie einzelne Streams die Aktionserkennung mit etablierten state-of-the-art-Modellen unterstützen. Anschließend bewerten wir die Informationsaffordanz jeder Ansicht mittels informationstheoretischer Modellierung und des Konzepts der gegenseitigen Information (mutual information). Darüber hinaus benchmarken wir die Leistungsfähigkeit der verschiedenen Ansichten, um deren Stärken und Schwächen im Hinblick auf ihren Informationsgehalt und ihre Benchmark-Leistung zu identifizieren. Unsere Ergebnisse deuten darauf hin, dass die multiview- und multistream-basierte Aktionserkennung ein zusätzliches Potenzial zur Verbesserung der Erkennungsergebnisse bietet. Der RHM-Datensatz ist unter {href{https://robothouse-dev.herts.ac.uk/datasets/RHM/HAR-1/}{Robot House}} verfügbar.