Attention Q à deux échelles : apprentissage efficace pour la manipulation robotique visuelle par discrétisation

Nous présentons une méthode de discrétisation de type grossière à fine qui permet d’utiliser des approches d’apprentissage par renforcement discrètes à la place des méthodes acteur-critique instables et peu efficaces en données dans les domaines robotiques continus. Cette approche s’appuie sur l’algorithme ARM récemment publié, qui remplace l’agent de prochaine meilleure posture continue par un agent discret, en utilisant une attention Q de type grossière à fine. Étant donné une scène voxélisée, l’attention Q grossière à fine apprend quelle partie de la scène doit être « zoomée ». Lorsque ce comportement de « zoom » est appliqué de manière itérative, il conduit à une discrétisation quasi sans perte de l’espace de translation, permettant ainsi l’emploi d’une méthode de réapprentissage profond par Q-apprentissage discrète. Nous démontrons que notre nouvel algorithme grossière à fine atteint des performances de pointe sur plusieurs tâches difficiles de robotique à récompense éparses basées sur la vision dans le cadre RLBench, et peut entraîner des politiques réelles dans le monde réel, de manière tabula rasa, en quelques minutes, avec aussi peu que trois démonstrations.