神経象徴的概念学習者：自然な教師あり学習からシーン、単語、および文を解釈する

私たちはNeuro-Symbolic Concept Learner (NS-CL)を提案します。このモデルは、視覚的概念、単語、および文の意味解析を明示的な教師なしで学習します。代わりに、当該モデルは画像を見ることと、それに関連する質問と回答を読むことによって学習します。当該モデルはオブジェクトベースのシーン表現を構築し、文を実行可能な記号プログラムに翻訳します。これらのモジュールの学習をつなぐために、我々はこれらのプログラムを潜在的なシーン表現に対して実行する神経記号推論モジュールを使用しています。人間の概念学習に類似して、知覚モジュールは言語による説明に基づいて参照される物体の視覚的概念を学習します。一方で、学習された視覚的概念は新しい単語の学習や新しい文の解析を容易にします。私たちはカリキュラム学習を使用して、画像と言語の大きな組合せ空間における探索をガイドします。広範な実験により、当該モデルが視覚的概念、単語表現、および文の意味解析において高い精度と効率性を持つことが示されています。さらに、本手法は新しい物体属性、組み合わせ、言語概念、シーンや質問への容易な汎化が可能であり、さらには新しいプログラムドメインにも対応できます。また、本手法はビジュアル質問応答や双方向的な画像・テキスト検索などのアプリケーションにも活用できます。