HyperAIHyperAI

Command Palette

Search for a command to run...

Inférence Visuelle des Étapes d'un Objectif à l'aide de wikiHow

Yue Yang; Artemis Panagopoulou; Qing Lyu; Li Zhang; Mark Yatskar; Chris Callison-Burch

Résumé

Comprendre la séquence d'étapes nécessaires pour atteindre un objectif peut aider les systèmes d'intelligence artificielle à raisonner sur les activités humaines. Les travaux antérieurs en traitement du langage naturel (NLP) ont examiné la tâche de l'inférence des étapes pour le texte. Nous introduisons l'équivalent visuel. Nous proposons la tâche d'Inférence Visuelle des Étapes et des Objectifs (VGSI), où un modèle est donné un objectif textuel et doit choisir quelle image parmi quatre représente une étape plausible vers cet objectif. Avec un nouveau jeu de données récolté à partir de wikiHow, composé de 772 277 images représentant des actions humaines, nous montrons que notre tâche est difficile pour les modèles multimodaux de pointe. De plus, la représentation multimodale apprise à partir de nos données peut être transférée efficacement à d'autres jeux de données comme HowTo100M, augmentant la précision de la VGSI de 15 à 20 %. Notre tâche facilitera le raisonnement multimodal sur les événements procéduraux.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp