HyperAIHyperAI

Command Palette

Search for a command to run...

Rapport technique GR-Dexter

Abstract

Les modèles vision-langage-action (VLA) ont permis la manipulation robotique à longue portée conditionnée par le langage, mais la plupart des systèmes existants sont limités aux pinces. L’extension des politiques VLA aux robots bimanuels équipés de mains à haute liberté de mouvement (DoF) reste un défi en raison de l’expansion de l’espace d’action, des occultations fréquentes entre les mains et les objets, ainsi que du coût élevé de la collecte de données sur robots réels. Nous présentons GR-Dexter, un cadre holistique matériel-modèle-données pour la manipulation généraliste basée sur VLA sur un robot bimanuel à main dextre. Notre approche combine la conception d’une main robotique compacte à 21 degrés de liberté (DoF), un système d’opérabilité bimanuelle intuitif pour la collecte de données sur robots réels, et une méthode d’entraînement exploitant les trajectoires robotiques téléopérées, ainsi que des jeux de données à grande échelle vision-langage et des jeux de données croisés soigneusement curatifs. Dans des évaluations menées dans des environnements réels couvrant des tâches de manipulation quotidiennes à longue portée et des opérations générales de ramassage et de placement, GR-Dexter atteint des performances solides dans le domaine cible et une robustesse accrue face à des objets ou des instructions inédites. Nous espérons que GR-Dexter constituera une étape concrète vers la manipulation robotique généraliste à main dextre.


Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp