Octo : Une politique robotique généraliste open source

Les politiques larges préentraînées sur des jeux de données robotiques diversifiés ont le potentiel de transformer l’apprentissage robotique : au lieu de former de nouvelles politiques depuis zéro, de telles politiques généralistes pourraient être affinées avec seulement une faible quantité de données spécifiques au domaine, tout en maintenant une généralisation étendue. Toutefois, pour être largement applicables dans une variété de scénarios, d’environnements et de tâches d’apprentissage robotique, ces politiques doivent être capables de traiter des capteurs divers, gérer des espaces d’actions variés, s’adapter à une large gamme de plateformes robotiques couramment utilisées, et s’affiner facilement et efficacement à de nouveaux domaines. Dans ce travail, nous visons à poser les bases du développement de politiques généralistes, open-source et largement applicables, pour la manipulation robotique. À titre de première étape, nous introduisons Octo, une politique basée sur un transformateur à grande échelle, entraînée sur 800 000 trajectoires provenant du jeu de données Open X-Embodiment, le plus grand jeu de données de manipulation robotique jamais constitué à ce jour. Octo peut être instruit via des commandes linguistiques ou des images de but, et peut être efficacement affinée pour des configurations robotiques comportant de nouveaux capteurs et espaces d’actions en quelques heures seulement sur des GPU grand public. Dans des expériences menées sur 9 plateformes robotiques différentes, nous démontrons que Octo constitue une initialisation de politique polyvalente, capable d’être efficacement affinée à de nouveaux espaces d’observations et d’actions. Nous réalisons également des ablations détaillées des choix architecturaux et des choix de données d’entraînement pour le modèle Octo, afin de guider les recherches futures visant à construire des modèles robotiques généralistes.