LE COLISEE : Un référentiel pour évaluer la généralisation dans la manipulation robotique

Pour réaliser des applications robotiques à grande échelle et dans le monde réel, il est essentiel d'évaluer la capacité de nos politiques robotiques à s'adapter aux changements des conditions environnementales. Malheureusement, la plupart des études évaluent les performances des robots dans des environnements très similaires, voire identiques, à ceux utilisés lors de l'entraînement. Nous présentons LE COLOSSEUM, un nouveau banc d'essai de simulation comprenant 20 tâches de manipulation variées, qui permet une évaluation systématique des modèles sur 14 axes de perturbations environnementales. Ces perturbations incluent des modifications de la couleur, de la texture et de la taille des objets, des plateaux et des arrière-plans ; nous varions également l'éclairage, les distracteurs, les propriétés physiques (perturbations) et la position de la caméra. En utilisant LE COLOSSEUM, nous comparons 5 modèles de manipulation de pointe pour révéler que leur taux de réussite diminue entre 30 et 50 % en fonction de ces facteurs de perturbation. Lorsque plusieurs perturbations sont appliquées simultanément, le taux de réussite diminue d'au moins 75 %. Nous identifions que le changement du nombre d'objets distracteurs, la couleur de l'objet cible ou les conditions d'éclairage sont les perturbations qui réduisent le plus les performances du modèle. Pour vérifier la validité écologique de nos résultats, nous montrons que nos résultats en simulation sont corrélés ($\bar{R}^2 = 0{,}614$) avec des perturbations similaires dans des expériences réalisées dans le monde réel. Nous mettons à disposition le code source pour que d'autres puissent utiliser LE COLOSSEUM et nous publions également le code pour imprimer en 3D les objets utilisés pour reproduire les perturbations du monde réel. Dans l'ensemble, nous espérons que LE COLOSSEUM servira de référence pour identifier les décisions modélisationnelles qui améliorent systématiquement la généralisation pour la manipulation. Voir https://robot-colosseum.github.io/ pour plus de détails.