Les programmes, composés d'informations sémantiques et structurelles, jouent un rôle important dans la communication entre les humains et les agents. Pour apprendre des exécuteurs de programmes généraux qui unifient la perception, le raisonnement et la prise de décision, nous formulons des tâches guidées par des programmes nécessitant l'apprentissage de l'exécution d'un programme donné sur la spécification observée de la tâche. De plus, nous proposons le Program-guided Transformer (ProTo), qui intègre à la fois les guides sémantiques et structurels d'un programme en utilisant l'attention croisée et l'auto-attention masquée pour transmettre des messages entre la spécification et les routines du programme. ProTo exécute un programme dans un espace latent appris et bénéficie d'une capacité de représentation supérieure aux approches neuronales-symboliques précédentes. Nous démontrons que ProTo surpasse considérablement les méthodes précédentes de pointe sur les ensembles de données GQA pour le raisonnement visuel et l'apprentissage de politiques 2D dans Minecraft. En outre, ProTo montre une meilleure généralisation aux programmes complexes, inédits et écrits par des humains.