HyperAIHyperAI

Command Palette

Search for a command to run...

Réseau différentiel multimodal pour la génération de questions visuelles

Badri N. Patro; Sandeep Kumar; Vinod K. Kurmi; Vinay P. Namboodiri

Résumé

La génération de questions naturelles à partir d'une image est une tâche sémantique qui nécessite l'utilisation de modalités visuelle et linguistique pour apprendre des représentations multimodales. Les images peuvent avoir plusieurs contextes visuels et linguistiques pertinents pour la génération de questions, notamment les lieux, les légendes et les balises. Dans cet article, nous proposons l'utilisation d'exemples pour obtenir le contexte pertinent. Nous atteignons cet objectif en utilisant un Réseau Différentiel Multimodal pour produire des questions naturelles et engageantes. Les questions générées montrent une similitude remarquable avec les questions naturelles, comme l'a validé une étude humaine. De plus, nous constatons que l'approche proposée améliore considérablement les performances par rapport aux meilleures méthodes actuelles sur les métriques quantitatives (BLEU, METEOR, ROUGE et CIDEr).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Réseau différentiel multimodal pour la génération de questions visuelles | Articles | HyperAI