La réponse aux questions visuelles avec connaissance externe (OK-VQA) exige que l’agent comprenne l’image, exploite des connaissances pertinentes provenant de l’ensemble du web, et synthétise l’ensemble de ces informations pour formuler une réponse. La plupart des travaux antérieurs abordent ce problème en fusionnant d’abord l’image et la question dans un espace multi-modal, une approche qui se révèle peu flexible pour une fusion ultérieure avec une quantité massive de connaissances externes. Dans cet article, nous proposons un paradigme alternatif pour la tâche OK-VQA, qui consiste à transformer l’image en texte brut, afin de permettre une récupération de passages de connaissances et une génération de réponses par question dans l’espace du langage naturel. Ce paradigme tire parti du volume considérable des bases de connaissances gigantesques ainsi que de la richesse des modèles pré-entraînés en langage naturel. Nous introduisons un cadre appelé Transform-Retrieve-Generate (TRiG), qui peut être facilement intégré à différents modèles de transformation image-texte et à diverses bases de connaissances textuelles. Les résultats expérimentaux montrent que notre cadre TRiG surpasser tous les méthodes supervisées de pointe avec une marge absolue d’au moins 11,1 %.