البرامج، التي تتكون من المعلومات الدلالية والهيكلية، تلعب دورًا مهمًا في التواصل بين البشر والوكلاء. بهدف تعلم مُنفِّذات البرامج العامة لتوحيد الإدراك والاستدلال وصنع القرار، نصوغ مهامًا موجهة بالبرنامج تتطلب تعلم كيفية تنفيذ برنامج معين على مواصفات المهمة الملاحظة. بالإضافة إلى ذلك، نقترح برنامج الترانسفورمر الموجه (ProTo)، الذي يدمج التوجيه الدلالي والهيكل للبرنامج من خلال الاستفادة من الانتباه المتقاطع والانتباه الذاتي المقنّع لتمرير الرسائل بين المواصفات والروتينات في البرنامج. يقوم ProTo بتنفيذ البرنامج في فضاء خفي تم تعلمه ويتمتع بقدرة تمثيلية أقوى من النهج العصبية-الرمزية السابقة. نوضح أن ProTo يتفوق بشكل كبير على الأساليب السابقة الأكثر تقدمًا في مجموعتي بيانات GQA للاستدلال البصري وتعلم السياسة في Minecraft ثنائية الأبعاد. علاوةً على ذلك، يظهر ProTo قدرة أفضل على التعميم إلى برامج غير مشاهدة ومعقدة ومكتوبة بواسطة البشر.