Qu'est-ce qui compte dans l'apprentissage à partir de démonstrations humaines hors ligne pour la manipulation robotique

Imiter les démonstrations humaines constitue une approche prometteuse pour doter les robots de diverses capacités de manipulation. Bien que des progrès récents aient été réalisés en apprentissage par imitation et en apprentissage par renforcement en mode lot (offline), le manque de jeux de données humains open-source ainsi que de méthodes d'apprentissage reproductibles rend difficile l'évaluation de l'état de l'art. Dans cet article, nous menons une étude approfondie de six algorithmes d'apprentissage offline pour la manipulation robotique, sur cinq tâches simulées et trois tâches réelles de manipulation multi-étapes de complexité variable, ainsi que sur des jeux de données de qualité hétérogène. Notre étude analyse les défis les plus critiques liés à l'apprentissage à partir de données humaines en mode offline pour la manipulation. À partir de cette analyse, nous tirons une série de leçons, notamment la sensibilité aux différentes choix de conception algorithmique, la dépendance à la qualité des démonstrations, ainsi que la variabilité induite par les critères d'arrêt, dus aux objectifs différents entre l'entraînement et l'évaluation. Nous mettons également en évidence des opportunités liées à l'apprentissage à partir de jeux de données humains, telles que la capacité à apprendre des politiques performantes sur des tâches complexes et multi-étapes, dépassant le cadre des méthodes actuelles d'apprentissage par renforcement, ainsi que la possibilité de s'adapter facilement à des scénarios de manipulation réels et naturels où seules des signaux sensoriels bruts sont disponibles. Nous avons rendu open-source nos jeux de données ainsi que toutes les implémentations algorithmiques afin de favoriser la recherche future et permettre des comparaisons justes dans le domaine de l'apprentissage à partir de démonstrations humaines. Le code, les jeux de données, les modèles entraînés et bien d'autres ressources sont disponibles à l'adresse suivante : https://arise-initiative.github.io/robomimic-web/