要約
視覚的な質問応答は本質的に合成的性質を有しています---「犬はどこにいますか？」という質問は、「犬の色は何ですか？」や「猫はどこにいますか？」などの質問と部分構造を共有しています。本論文では、深層ネットワークの表現能力と質問の合成的な言語構造を同時に活用することを目指しています。私たちは、ニューラルモジュールネットワークの構築と学習に関する手順を説明します。この手法では、共同で訓練されたニューラル「モジュール」の集合体を、質問応答用の深層ネットワークに合成します。私たちのアプローチは、質問をその言語的部分構造に分解し、これらの構造を利用して動的にモジュールネットワーク（犬の認識や色分類など、再利用可能なコンポーネントを持つ）をインスタンス化します。生成された複合ネットワークは共同で訓練されます。私たちは、視覚的な質問応答における2つの難易度の高いデータセットで当アプローチを評価しました。VQA自然画像データセットと抽象形状に関する複雑な質問の新しいデータセットにおいて、最先端の結果を得ています。