Nous étudions la réponse aux questions visuelles dans un cadre où la réponse doit être extraite à partir d’un ensemble de images pertinentes et non pertinentes fournies comme contexte. Dans un tel cadre, un modèle doit d’abord récupérer les images pertinentes parmi l’ensemble, puis répondre à la question à partir des images ainsi récupérées. Nous désignons ce problème sous le nom de réponse aux questions visuelles basée sur la récupération (ou RETVQA, pour Retrieval-based Visual Question Answering). Le RETVQA se distingue nettement et s’avère plus difficile que la réponse aux questions visuelles traditionnellement étudiée (VQA), où une question donnée doit être répondue à partir d’une seule image pertinente dans le contexte. Pour résoudre cette tâche, nous proposons un modèle unifié, Multi Image BART (MI-BART), qui prend en entrée une question et les images récupérées, en utilisant notre encodeur de pertinence, afin de générer des réponses libres et fluides. Par ailleurs, nous introduisons le plus grand jeu de données dans ce domaine, nommé RETVQA, qui présente les caractéristiques suivantes : exigence de multi-images et de récupération pour la VQA, questions indépendantes des métadonnées sur un ensemble d’images hétérogènes, et attente d’une combinaison de réponses de classification et de réponses ouvertes génératives. Notre cadre proposé atteint une précision de 76,5 % et une fluidité de 79,3 % sur le jeu de données RETVQA, et dépasse également les méthodes de l’état de l’art de 4,9 % et 11,8 % respectivement en précision et fluidité sur la partie images du jeu de données WebQA publique.