Politiques de manipulation robotique guidées par les instructions et conscientes de l'historique

Dans les environnements humains, les robots sont censés accomplir une variété de tâches de manipulation à partir d'instructions simples en langage naturel. Cependant, la manipulation robotique est extrêmement complexe car elle nécessite un contrôle moteur fin, une mémoire à long terme ainsi qu'une généralisation aux tâches et aux environnements inédits. Pour relever ces défis, nous proposons une approche unifiée basée sur des transformateurs qui prend en compte plusieurs entrées. Plus précisément, notre architecture de transformateur intègre (i) des instructions en langage naturel et (ii) des observations de scène multivues tout en (iii) conservant l'historique complet des observations et des actions. Une telle approche permet d'apprendre les dépendances entre l'historique et les instructions et d'améliorer la précision de la manipulation grâce à l'utilisation de vues multiples. Nous évaluons notre méthode sur le benchmark difficile RLBench et sur un robot du monde réel. Notamment, notre approche s'adapte à 74 tâches diverses de RLBench et surpassent l'état de l'art. Nous abordons également les tâches conditionnées par les instructions et démontrons une excellente généralisation aux variations inédites.