私たちは、視覚認識と言語理解のための深層表現学習、ならびに推論のための記号プログラム実行という2つの強力なアイデアを融合します。私たちのニューラル-シンボリック視覚質問応答（NS-VQA）システムは、まず画像から構造的なシーン表現を回復し、質問からプログラムトレースを抽出します。その後、プログラムをシーン表現上で実行して答えを得ます。記号構造を事前知識として組み込むことで、3つの独自の利点が得られます。第一に、記号空間でのプログラム実行は長いプログラムトレースに対してより堅牢です。当モデルは複雑な推論タスクをよりよく解決でき、CLEVRデータセットにおいて99.8%の精度を達成しています。第二に、当モデルはデータ効率とメモリ効率が優れています。少量の訓練データで学習した後も良好な性能を発揮し、また画像をコンパクトな表現にエンコードできるため、オフライン質問応答のために必要なストレージ量が既存手法よりも少ないです。第三に、記号プログラム実行は推論プロセス全体に透明性を提供します。これにより、各実行ステップを解釈および診断することが可能となります。