要約
私たちは、分岐プログラムとそれらを構成する関数を共同で学習するための新しい動的微分推論（Dynamic Differentiable Reasoning: DDR）フレームワークを提案します。これにより、最近の動的アーキテクチャにおいて大きな障害となっていた非微分性が解消されます。当該フレームワークは、2つの設定に適用され、非常にコンパクトでデータ効率の高い2つのアーキテクチャが開発されました：CLEVRビジュアル質問応答用のDDRprogと逆ポーランド記法式評価用のDDRstackです。DDRprogでは、再帰的なコントローラを使用して、基礎となる質問の論理に直接対応するモジュール型ニューラルプログラムを共同で予測し実行します。論理的な分岐処理を行うために、明示的にサブプロセスをフォークします。追加の構造的な監督を効果的に活用することで、部分タスクの一貫性において大幅な改善が見られるとともに、全体的な精度でも若干の向上が達成されました。さらに、RPN設定における構造的監督の利点も示しました：DDRstackでのスタック仮定の導入により、LSTMが失敗するような長い式にも一般化することが可能となりました。