ProxEmo: gaitbasiertes Emotionslernen und multimodale proxemische Fusion für sozialbewusste Roboternavigation

Wir präsentieren ProxEmo, einen neuartigen end-to-end-Algorithmus zur Emotionsvorhersage für sozial bewusste Roboternavigation unter Menschenmengen. Unser Ansatz prognostiziert die wahrgenommenen Emotionen eines Fußgängers anhand seiner Gangmuster, die anschließend zur emotionsgesteuerten Navigation unter Berücksichtigung sozialer und proxemischer Einschränkungen genutzt werden. Zur Emotionsklassifikation schlagen wir ein mehransichtiges, auf Skelett-Graphen basierendes Faltungsmodell vor, das mit einer herkömmlichen Kamera arbeitet, die auf einem sich bewegenden Roboter montiert ist. Unsere Emotionserkennung ist in ein kartenloses Navigationssystem integriert und macht keine Annahmen über die Umgebung der Fußgängerbewegung. Auf dem Emotion-Gait-Benchmark-Datensatz erreicht unser Ansatz eine durchschnittliche Genauigkeit der Emotionsvorhersage von 82,47 %. Wir übertreffen aktuelle state-of-the-art-Algorithmen zur Emotionserkennung aus 3D-Gangmustern. Die Vorteile unseres Ansatzes im Kontext der Navigation in Innenräumen werden anhand eines Clearpath Jackal-Roboters demonstriert.