Toyota Smarthome : Activités de la vie quotidienne dans un environnement réel

La performance des réseaux neuronaux profonds est fortement influencée par la quantité et la qualité des données annotées. La plupart des grands jeux de données d’identification d’activités proviennent de sources web, lesquelles ne reflètent pas les défis réels rencontrés dans les activités de la vie quotidienne. Dans cet article, nous introduisons un grand jeu de données vidéo réel pour les activités de la vie quotidienne : le Toyota Smarthome. Ce jeu de données comprend 16 000 clips RGB+D regroupant 31 classes d’activités réalisées par des personnes âgées dans un habitat intelligent. Contrairement aux jeux de données précédents, les vidéos sont entièrement non scénarisées. En conséquence, ce jeu de données pose plusieurs défis : une forte variation intra-classe, un déséquilibre élevé entre les classes, la présence d’activités simples et composées, ainsi que des activités présentant des mouvements similaires mais des durées variables. Les activités ont été annotées à la fois avec des étiquettes grossières et fines. Ces caractéristiques distinguent le jeu de données Toyota Smarthome des autres jeux de données utilisés pour la reconnaissance d’activités. Étant donné que les approches récentes de reconnaissance d’activités échouent à relever les défis posés par Toyota Smarthome, nous proposons une nouvelle méthode de reconnaissance d’activités basée sur un mécanisme d’attention. Plus précisément, nous introduisons un mécanisme d’attention spatio-temporelle piloté par la posture, réalisé à l’aide de réseaux de convolution 3D (3D ConvNets). Nous démontrons que notre méthode novatrice surpasse les méthodes de pointe sur des jeux de données de référence, ainsi que sur le jeu de données Toyota Smarthome. Enfin, nous mettons ce jeu de données à disposition pour la recherche.