HyperAIHyperAI

Command Palette

Search for a command to run...

Console
il y a 17 heures

X-VLA : Transformer à prompt doux comme modèle vision-langage-action évolutif à multiples incarnations

X-VLA : Transformer à prompt doux comme modèle vision-langage-action évolutif à multiples incarnations

Résumé

Les modèles généralistes Vision-Language-Action (VLA) performants s'appuient sur une formation efficace sur une diversité de plateformes robotiques, à l'aide de jeux de données à grande échelle, hétérogènes et trans-embodiment. Afin de faciliter et d'exploiter l'hétérogénéité présente dans les sources riches et diversifiées de données robotiques, nous proposons une nouvelle approche basée sur des « soft prompts » nécessitant un nombre minimal de paramètres supplémentaires. Cette méthode intègre des concepts d'apprentissage par prompt dans l'apprentissage robotique trans-embodiment, en introduisant des ensembles distincts d'embeddings apprenables pour chaque source de données spécifique. Ces embeddings agissent comme des prompts spécifiques à l'embodiment, permettant, dans leur ensemble, aux modèles VLA d'exploiter efficacement les caractéristiques hétérogènes entre différentes incarnations. Notre nouveau modèle, X-VLA, une architecture VLA fondée sur une approche de matching de flux, repose exclusivement sur des encodeurs Transformer standards munis de soft prompts, offrant à la fois une grande scalabilité et une grande simplicité. Évaluée sur 6 simulations ainsi que sur 3 robots réels, notre instance X-VLA-0.9B (0,9 milliard de paramètres) atteint simultanément des performances SOTA (state-of-the-art) sur une large gamme de benchmarks, démontrant des résultats supérieurs sur un large éventail de capacités, allant de la dextérité fine à l'adaptation rapide aux différentes incarnations, environnements et tâches.

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp