最近のビジョン・ツー・ランゲージ問題における進展は、主に畳み込みニューラルネットワーク（CNN）と再帰型ニューラルネットワーク（RNN）の組み合わせによって達成されています。このアプローチは明示的に高レベルの意味概念を表現せず、画像特徴から直接テキストへと進行することを目指しています。本論文ではまず、成功したCNN-RNNアプローチに高レベル概念を組み込む方法を提案し、その方法が画像キャプション生成と視覚的な質問応答において現行の最先端技術よりも大幅な改善をもたらすことを示します。さらに、同じメカニズムを使用して外部知識を取り入れることで、高レベルの視覚的な質問への回答に不可欠な情報を提供できることを示します。具体的には、画像の内容の内部表現と一般知識ベースから抽出された情報を取り入れて、幅広い画像ベースの質問に答えるための視覚的な質問応答モデルを設計しました。特に、画像自体が完全な答えを含んでいない場合でも、その内容に関する質問をすることが可能になります。最終的なモデルは、いくつかのベンチマークデータセットにおいて画像キャプション生成と視覚的な質問応答の両方で最良の報告結果を達成しています。