Robotikvision und Multi-View-Synergie: Aktion- und Aktivitätserkennung in assistierten Lebensszenarien

Die Bedeutung der Mensch-Roboter-Interaktion (Human-Robot Interaction, HRI) wird bei der Integration von Robotern in menschenzentrierte Umgebungen zunehmend deutlich. Ein entscheidender Baustein effektiver HRI ist die Erkennung menschlicher Aktivitäten (Human Activity Recognition, HAR), die es Robotern ermöglicht, angemessen auf die Anwesenheit von Menschen zu reagieren, insbesondere in Umgebungen des Ambient Assisted Living (AAL). Da Roboter in der Regel mobil sind und ihre visuelle Wahrnehmung durch Bewegung und Störungen oft beeinträchtigt wird, evaluiert dieser Artikel Ansätze, die die mobile Perspektive des Roboters mit einer statischen Sichtweise durch die Nutzung von Multiview-Deep-Learning-Modellen verbinden. Wir stellen ein dualer-Stream-Convolutional-3D (C3D)-Modell vor, um die Genauigkeit der visionbasierten HAR für robotische Anwendungen zu verbessern. Anhand des Robot House Multiview (RHM)-Datensatzes, der neben der roboterbezogenen Perspektive drei statische Ansichten (Vorderansicht, Rückansicht, Oberansicht) umfasst, untersuchen wir die Wirksamkeit unseres Modells und vergleichen es mit den dualen-Stream-ConvNet- und Slow-Fast-Modellen. Das primäre Ziel dieser Studie besteht darin, die Genauigkeit der roboterbezogenen Sichtweise durch die Integration mit statischen Ansichten mittels dualer-Stream-Modelle zu erhöhen. Als Bewertungsmetriken werden die Top-1- und Top-5-Accuracy verwendet. Unsere Ergebnisse zeigen, dass die Kombination statischer Ansichten mit der roboterbezogenen Perspektive die HAR-Genauigkeit sowohl in der Top-1- als auch in der Top-5-Metrik bei allen getesteten Modellen signifikant steigert. Zudem erzielt das vorgeschlagene duale-Stream-C3D-Modell im Vergleich zu den anderen aktuellen Modellen in unseren Evaluierungen eine überlegene Leistung.