近期在视觉到语言问题上的许多进展都是通过卷积神经网络（CNNs）和循环神经网络（RNNs）的结合实现的。这种方法并未显式地表示高层次的语义概念，而是直接从图像特征过渡到文本。本文首先提出了一种将高层次概念融入成功的CNN-RNN方法中的方法，并展示了该方法在图像描述生成和视觉问答任务中显著优于现有最佳技术。我们进一步证明了同一机制可以用于整合外部知识，这对于回答高层次的视觉问题至关重要。具体而言，我们设计了一个视觉问答模型，该模型将图像内容的内部表示与从一般知识库中提取的信息相结合，以回答各种基于图像的问题。特别是，即使图像本身并不包含完整答案，该模型也允许对图像内容进行提问。我们的最终模型在多个基准数据集上均取得了迄今为止最好的报告结果，在图像描述生成和视觉问答方面表现尤为突出。