HyperAIHyperAI

Command Palette

Search for a command to run...

Navigation guidée par la vision et le dialogue

Jesse Thomason Michael Murray Maya Cakmak Luke Zettlemoyer

Résumé

Les robots naviguant dans des environnements humains devraient utiliser le langage pour demander de l'aide et être capables de comprendre les réponses des humains. Pour étudier ce défi, nous présentons la Navigation Coopérative par Vision et Dialogue, une base de données comprenant plus de 2 000 dialogues incarnés entre humains situés dans des environnements domestiques simulés et photoréalistes. Le Navigateur pose des questions à son partenaire, l'Oracle, qui dispose d'un accès privilégié aux meilleures étapes suivantes que le Navigateur devrait entreprendre selon un planificateur de plus court chemin. Pour former des agents capables de rechercher un emplacement cible dans un environnement, nous définissons la tâche de Navigation à partir de l'Histoire du Dialogue. Un agent, donné un objet cible et une histoire de dialogue entre des humains coopérant pour trouver cet objet, doit inférer les actions de navigation vers le but dans des environnements inexplorés. Nous établissons un modèle initial multimodal séquence-à-séquence et démontrons que le fait de regarder plus loin dans l'historique du dialogue améliore les performances. Le code source et une démonstration en direct peuvent être consultés à l'adresse https://cvdn.dev/


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp