Cet ensemble de données provient de Université d'État de Campinas Base de connaissances du sujet MO434.

Introduction

Il s'agit d'une application Flask simple qui génère des réponses basées sur une image et des questions en langage naturel sur l'image. L'application utilise un modèle d'apprentissage en profondeur formé avec TensorFlow en coulisses.

Présentation du modèle

Le développement de l’apprentissage profond a favorisé la résolution de tâches liées à l’apprentissage multimodal. La réponse visuelle aux questions (VQA) est un exemple très difficile, qui nécessite une interprétation de scène de haut niveau à partir d'images et une modélisation d'un langage de réponse aux questions pertinent. Étant donné une image et une question en langage naturel sur l'image, la tâche consiste à fournir une réponse précise en langage naturel. Il s’agit d’un système de bout en bout implémenté à l’aide de Keras qui vise à accomplir cette tâche.

Architecture du modèle basée sur le papier Co-attention hiérarchique question-image pour la réponse visuelle aux questions .