HyperAIHyperAI

Command Palette

Search for a command to run...

Attention des Graphes Factoriels

Idan Schwartz Seunghak Yu* Tamir Hazan Alexander Schwing

Résumé

Le dialogue est un moyen efficace d'échanger des informations, mais les détails subtils et les nuances sont extrêmement importants. Bien que des progrès significatifs aient tracé une voie pour aborder le dialogue visuel avec des algorithmes, les détails et les nuances restent un défi. Les mécanismes d'attention ont montré des résultats convaincants pour extraire des détails dans le cadre de la réponse aux questions visuelles et offrent également un cadre convaincant pour le dialogue visuel en raison de leur interprétabilité et de leur efficacité. Cependant, les nombreuses utilités de données qui accompagnent le dialogue visuel posent un défi aux techniques d'attention existantes. Nous abordons cette problématique et développons un mécanisme d'attention général pour le dialogue visuel, capable de fonctionner sur n'importe quel nombre d'utilités de données. À cet effet, nous concevons un mécanisme d'attention basé sur un graphe factoriel qui combine n'importe quel nombre de représentations d'utilité. Nous illustrons l'applicabilité de notre approche proposée sur les jeux de données VisDial, récemment introduits et particulièrement complexes, surpassant les méthodes récentes de pointe de 1,1 % pour VisDial0.9 et de 2 % pour VisDial1.0 en termes de MRR (Mean Reciprocal Rank). Notre modèle ensembliste a amélioré le score MRR sur VisDial1.0 de plus de 6 %.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Attention des Graphes Factoriels | Articles | HyperAI