プログラムは、意味情報と構造情報を含み、人間とエージェントの間のコミュニケーションにおいて重要な役割を果たします。一般的なプログラム実行者を学習し、知覚、推論、意思決定を統合するため、観察されたタスク仕様に基づいて与えられたプログラムを実行する能力を学ぶ必要があるプログラムガイド付きタスクを定式化しました。さらに、クロスアテンションとマスク付き自己アテンションを活用して仕様とプログラム内のルーチンの間にメッセージを伝達することで、プログラムの意味情報と構造情報を両方統合する Program-guided Transformer (ProTo) を提案します。ProTo は学習した潜在空間でプログラムを実行し、従来のニューラルシンボリックアプローチよりも強力な表現能力を持っています。私たちは GQA 視覚推論データセットおよび 2D Minecraft ポリシーラーニングデータセットにおいて ProTo が以前の最先端手法に比べて大幅に性能を上回ることを示しています。また、ProTo は未見の複雑な人間が書いたプログラムに対してより優れた汎化能力を持つことを示しています。