IndustReal : Un jeu de données pour la reconnaissance des étapes de procédure gérant les erreurs d'exécution dans des vidéos égocentriques dans un environnement similaire à celui industriel

Bien que la reconnaissance d'actions pour les tâches procédurales ait reçu une attention notable, elle présente une faiblesse fondamentale : aucune mesure de succès des actions n'est fournie. Cela limite considérablement l'applicabilité de ces systèmes, en particulier dans le domaine industriel, où le résultat des actions procédurales est souvent beaucoup plus important que leur simple exécution. Pour remédier à cette limitation, nous définissons la nouvelle tâche de reconnaissance des étapes procédurales (PSR), qui se concentre sur la reconnaissance de l'achèvement correct et de l'ordre des étapes procédurales. En parallèle de cette nouvelle tâche, nous présentons également le jeu de données multi-modaux IndustReal. Contrairement aux jeux de données actuellement disponibles, IndustReal contient des erreurs procédurales (telles que des omissions) ainsi que des erreurs d'exécution. Une partie importante de ces erreurs est uniquement présente dans les ensembles de validation et de test, ce qui rend IndustReal approprié pour évaluer la robustesse des algorithmes face à de nouvelles erreurs inconnues. De plus, afin d'encourager la reproductibilité et de permettre des approches évolutives formées sur des données synthétiques, les modèles 3D de toutes les pièces sont librement accessibles au public. Des annotations et des performances de référence sont fournies pour la reconnaissance d'actions et la détection de l'état d'assemblage, ainsi que pour la nouvelle tâche PSR. IndustReal, accompagné du code source et des poids du modèle, est disponible à l'adresse suivante : https://github.com/TimSchoonbeek/IndustReal .