Attention des Graphes Factoriels

Le dialogue est un moyen efficace d'échanger des informations, mais les détails subtils et les nuances sont extrêmement importants. Bien que des progrès significatifs aient tracé une voie pour aborder le dialogue visuel avec des algorithmes, les détails et les nuances restent un défi. Les mécanismes d'attention ont montré des résultats convaincants pour extraire des détails dans le cadre de la réponse aux questions visuelles et offrent également un cadre convaincant pour le dialogue visuel en raison de leur interprétabilité et de leur efficacité. Cependant, les nombreuses utilités de données qui accompagnent le dialogue visuel posent un défi aux techniques d'attention existantes. Nous abordons cette problématique et développons un mécanisme d'attention général pour le dialogue visuel, capable de fonctionner sur n'importe quel nombre d'utilités de données. À cet effet, nous concevons un mécanisme d'attention basé sur un graphe factoriel qui combine n'importe quel nombre de représentations d'utilité. Nous illustrons l'applicabilité de notre approche proposée sur les jeux de données VisDial, récemment introduits et particulièrement complexes, surpassant les méthodes récentes de pointe de 1,1 % pour VisDial0.9 et de 2 % pour VisDial1.0 en termes de MRR (Mean Reciprocal Rank). Notre modèle ensembliste a amélioré le score MRR sur VisDial1.0 de plus de 6 %.