HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux de Graphes Conditionnés par le Langage pour le Raisonnement Relationnel

Ronghang Hu Anna Rohrbach Trevor Darrell Kate Saenko

Résumé

La résolution de tâches de langage ancré nécessite souvent une réflexion sur les relations entre les objets dans le contexte d'une tâche donnée. Par exemple, pour répondre à la question « Quelle est la couleur de la tasse sur la assiette ? », il faut vérifier la couleur de la tasse spécifique qui satisfait la relation « sur » par rapport à l'assiette. Des travaux récents ont proposé diverses méthodes capables de raisonnement relationnel complexe. Cependant, la plupart de leur puissance réside dans la structure d'inférence, tandis que la scène est représentée par des caractéristiques d'apparence locales simples. Dans cet article, nous adoptons une approche alternative et construisons des représentations contextualisées pour les objets dans une scène visuelle afin de soutenir le raisonnement relationnel. Nous proposons un cadre général de Réseaux de Graphes Conditionnés par le Langage (LCGN), où chaque nœud représente un objet et est décrit par une représentation sensible au contexte issue d'objets associés grâce à des passes de messages itératifs conditionnés par l'entrée textuelle. Par exemple, en se basant sur la relation « sur » avec l'assiette, l'objet « tasse » reçoit des messages de l'objet « assiette » pour mettre à jour sa représentation en « tasse sur l'assiette », ce qui peut être facilement traité par un classificateur simple pour prédire la réponse. Nos expériences montrent que notre approche LCGN soutient efficacement le raisonnement relationnel et améliore les performances sur plusieurs tâches et jeux de données. Notre code est disponible à l'adresse http://ronghanghu.com/lcgn.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp