Command Palette
Search for a command to run...
Rapport technique GR-Dexter
Rapport technique GR-Dexter
Abstract
Les modèles vision-langage-action (VLA) ont permis la manipulation robotique à longue portée conditionnée par le langage, mais la plupart des systèmes existants sont limités aux pinces. L’extension des politiques VLA aux robots bimanuels équipés de mains à haute liberté de mouvement (DoF) reste un défi en raison de l’expansion de l’espace d’action, des occultations fréquentes entre les mains et les objets, ainsi que du coût élevé de la collecte de données sur robots réels. Nous présentons GR-Dexter, un cadre holistique matériel-modèle-données pour la manipulation généraliste basée sur VLA sur un robot bimanuel à main dextre. Notre approche combine la conception d’une main robotique compacte à 21 degrés de liberté (DoF), un système d’opérabilité bimanuelle intuitif pour la collecte de données sur robots réels, et une méthode d’entraînement exploitant les trajectoires robotiques téléopérées, ainsi que des jeux de données à grande échelle vision-langage et des jeux de données croisés soigneusement curatifs. Dans des évaluations menées dans des environnements réels couvrant des tâches de manipulation quotidiennes à longue portée et des opérations générales de ramassage et de placement, GR-Dexter atteint des performances solides dans le domaine cible et une robustesse accrue face à des objets ou des instructions inédites. Nous espérons que GR-Dexter constituera une étape concrète vers la manipulation robotique généraliste à main dextre.