HyperAIHyperAI

Command Palette

Search for a command to run...

Répondre aux questions sur les visualisations de données à l'aide d'une fusion bimodale efficace

Kushal Kafle Robik Shrestha Brian Price Scott Cohen Christopher Kanan

Résumé

La réponse aux questions sur les graphiques (Chart Question Answering, CQA) est une nouvelle tâche de réponse aux questions visuelles (Visual Question Answering, VQA) où un algorithme doit répondre à des questions concernant des visualisations de données, par exemple des diagrammes en barres, des camemberts et des graphiques linéaires. Le CQA nécessite des capacités que les algorithmes de VQA pour images naturelles ne possèdent pas : des mesures fines, la reconnaissance optique de caractères et la gestion des mots hors vocabulaire dans les questions et les réponses. Sans modifications, les algorithmes de VQA d'avant-garde se montrent peu performants pour cette tâche. Dans cet article, nous proposons un nouvel algorithme de CQA appelé fusion récurrente parallèle d'images et de langage (Parallel Recurrent Fusion of Image and Language, PReFIL). PReFIL apprend d'abord des plongements bimodaux en fusionnant les caractéristiques des questions et des images, puis agrège intelligemment ces plongements appris pour répondre à la question posée. Malgré sa simplicité, PReFIL dépasse considérablement les systèmes d'avant-garde et les baselines humaines sur les jeux de données FigureQA et DVQA. De plus, nous démontrons que PReFIL peut être utilisé pour reconstruire des tableaux en posant une série de questions sur un graphique.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Répondre aux questions sur les visualisations de données à l'aide d'une fusion bimodale efficace | Articles | HyperAI