Réseau différentiel multimodal pour la génération de questions visuelles

La génération de questions naturelles à partir d'une image est une tâche sémantique qui nécessite l'utilisation de modalités visuelle et linguistique pour apprendre des représentations multimodales. Les images peuvent avoir plusieurs contextes visuels et linguistiques pertinents pour la génération de questions, notamment les lieux, les légendes et les balises. Dans cet article, nous proposons l'utilisation d'exemples pour obtenir le contexte pertinent. Nous atteignons cet objectif en utilisant un Réseau Différentiel Multimodal pour produire des questions naturelles et engageantes. Les questions générées montrent une similitude remarquable avec les questions naturelles, comme l'a validé une étude humaine. De plus, nous constatons que l'approche proposée améliore considérablement les performances par rapport aux meilleures méthodes actuelles sur les métriques quantitatives (BLEU, METEOR, ROUGE et CIDEr).