RHM : Jeu de données de reconnaissance multi-vue des activités humaines pour la maison robotisée

Grâce au développement récent des réseaux de neurones profonds et des capacités des jeux de données, le domaine de la reconnaissance des actions humaines (HAR) connaît une croissance rapide tant en termes de jeux de données disponibles que de modèles profonds. Malgré cela, des lacunes persistent concernant les jeux de données spécifiquement dédiés au domaine de la robotique et à l’interaction homme-robot. Nous proposons et introduisons un nouveau jeu de données multi-vues afin de combler ce manque. Le jeu de données Robot House Multi-View (RHM) comprend quatre vues : avant, arrière, plafond (omni) et vue embarquée sur le robot. Il comporte 14 classes, avec 6 701 extraits vidéo par vue, soit un total de 26 804 extraits vidéo pour les quatre vues. La durée des extraits vidéo varie entre 1 et 5 secondes. Les vidéos portant le même numéro et appartenant à la même classe sont synchronisées entre les différentes vues. Dans la deuxième partie de cet article, nous examinons comment les flux uniques contribuent à la reconnaissance des actions en utilisant des modèles d’état de l’art bien établis. Nous évaluons ensuite l’apport de chaque vue à l’aide d’un modèle fondé sur la théorie de l’information et du concept d’information mutuelle. En outre, nous comparons les performances des différentes vues, établissant ainsi les forces et faiblesses de chacune en lien avec leur contenu informationnel et leurs performances au sein du benchmark. Nos résultats nous amènent à conclure que la reconnaissance d’actions multi-vues et multi-flux présente un potentiel supplémentaire pour améliorer les résultats de reconnaissance. Le jeu de données RHM est disponible à l’adresse suivante : {href{https://robothouse-dev.herts.ac.uk/datasets/RHM/HAR-1/}{Robot House}}.