HyperAIHyperAI

Command Palette

Search for a command to run...

RHM: Robot House Multi-view Human Activity Recognition Datensatz

Farshid Amirabdollahian Catherine Menon Patrick Holthaus Mohamad Reza Shahabian Alashti Mohammad Hossein Bamorovat Abadi

Zusammenfassung

Infolge der jüngsten fortschreitenden Entwicklung tiefer neuronaler Netze und der verbesserten Datensatzkapazitäten wächst der Bereich der menschlichen Aktionserkennung (Human Action Recognition, HAR) sowohl hinsichtlich der verfügbaren Datensätze als auch der tiefen Modelle rasant. Dennoch bestehen weiterhin Lücken bei Datensätzen, die speziell den Bereich der Robotik und die Mensch-Roboter-Interaktion abdecken. Um diese Lücke zu schließen, präsentieren und führen wir einen neuen multiview-Datensatz ein: den Robot House Multi-View (RHM)-Datensatz. Dieser enthält vier Ansichten: Vorderansicht, Rückansicht, Deckenansicht (Omni) sowie die Sicht des Roboters. Der Datensatz umfasst 14 Aktionsklassen mit jeweils 6.701 Videoclips pro Ansicht, was insgesamt 26.804 Videoclips für die vier Ansichten ergibt. Die Länge der Videoclips liegt zwischen 1 und 5 Sekunden. Videoclips mit gleicher Nummer und derselben Klasse sind in den verschiedenen Ansichten synchronisiert. Im zweiten Teil dieser Arbeit untersuchen wir, wie einzelne Streams die Aktionserkennung mit etablierten state-of-the-art-Modellen unterstützen. Anschließend bewerten wir die Informationsaffordanz jeder Ansicht mittels informationstheoretischer Modellierung und des Konzepts der gegenseitigen Information (mutual information). Darüber hinaus benchmarken wir die Leistungsfähigkeit der verschiedenen Ansichten, um deren Stärken und Schwächen im Hinblick auf ihren Informationsgehalt und ihre Benchmark-Leistung zu identifizieren. Unsere Ergebnisse deuten darauf hin, dass die multiview- und multistream-basierte Aktionserkennung ein zusätzliches Potenzial zur Verbesserung der Erkennungsergebnisse bietet. Der RHM-Datensatz ist unter {href{https://robothouse-dev.herts.ac.uk/datasets/RHM/HAR-1/}{Robot House}} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
RHM: Robot House Multi-view Human Activity Recognition Datensatz | Paper | HyperAI