HyperAIHyperAI

Command Palette

Search for a command to run...

Inférence itérative à graphes sensible au contexte pour la dialogique visuelle

Dan Guo Hui Wang Hanwang Zhang Zheng-Jun Zha Meng Wang

Résumé

Le dialogue visuel est une tâche exigeante qui nécessite une compréhension des dépendances sémantiques entre les contextes visuels implicites et les contextes textuels. Cette tâche peut être vue comme une inférence de relations dans un modèle graphique à contextes clairsemés et à structure de graphe inconnue (descripteur de relations), et la manière de modéliser l’inférence relationnelle sensible au contexte sous-jacente est cruciale. À cet effet, nous proposons un nouveau réseau neuronal, le modèle graphique sensible au contexte (CAG, Context-Aware Graph). Chaque nœud du graphe correspond à une caractéristique sémantique conjointe, incluant à la fois des représentations contextuelles basées sur les objets (visuelles) et des représentations liées à l’historique (textuelles). La structure du graphe (les relations dans le dialogue) est mise à jour itérativement grâce à un mécanisme d’échange de messages adaptatif top-KKK. Plus précisément, à chaque étape d’échange de messages, chaque nœud sélectionne les KKK nœuds les plus pertinents, et ne reçoit des messages que de ceux-ci. Ensuite, après la mise à jour, nous appliquons une attention graphique à tous les nœuds afin d’obtenir l’encodage final du graphe et d’inférer la réponse. Dans le cadre de CAG, chaque nœud possède des relations dynamiques au sein du graphe (des voisins KKK différents selon le contexte), et seuls les nœuds les plus pertinents contribuent à l’inférence relationnelle sensible au contexte. Les résultats expérimentaux sur les jeux de données VisDial v0.9 et v1.0 montrent que CAG surpasser les méthodes comparatives. Les résultats de visualisation confirment en outre l’interprétabilité de notre approche.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp