Le Plus Grand Ensemble De Données De Robots Open Source ! DeepMind S'est Associé À 21 Institutions, a Intégré 60 Ensembles De Données Et a Publié Open X-Embodiment, Ouvrant Ainsi La Voie À L'ère De L'intelligence Incarnée.
Récemment, une vidéo d'un chien robot faisant office de porteur sur le mont Tai est devenue virale sur Internet.Ce « chien robot » peut non seulement transporter facilement des fournitures lourdes, mais peut également « marcher d'un pas vif » sur les routes de montagne escarpées du mont Tai, atteignant le sommet de la montagne depuis le pied de la montagne en seulement deux heures ! Le vice-ministre chinois des Affaires étrangères Hua Chunying l'a également salué : « Le chien robot agit comme un porteur sur le majestueux mont Tai, et la technologie profite à l'humanité. »
Il est entendu que la tâche principale de ce chien robot introduit par la société immobilière du Taishan Cultural Tourism Group est de retirer les ordures et de transporter les marchandises. Dans le passé, en raison du terrain particulier de la zone pittoresque du mont Tai, le travail de nettoyage des déchets ne pouvait reposer que sur le transport manuel, et pendant les périodes de pointe de flux de passagers, il était souvent impossible de nettoyer et de transporter les déchets. Le « chien robot » participant au test possède non seulement une forte adaptabilité au terrain, une grande stabilité et une grande capacité d'équilibre, mais peut également franchir facilement les obstacles. Sa capacité de charge peut atteindre 120 kilogrammes, ce qui peut résoudre le problème de l'élimination des déchets et améliorer l'efficacité du travail.
Google RT-2, NVIDIA GR00T, robot Figure 02, Tesla Optimus, Xiaomi CyberOne... Ces dernières années, avec l'émergence de plus en plus de robots, l'intelligence incarnée utilisant ces robots comme porteurs est également devenue un sujet brûlant.Ces robots, capables de percevoir, d’apprendre et d’interagir avec leur environnement et de participer directement à la vie réelle humaine, ont un grand potentiel sur le marché.
Qu'il s'agisse d'inspection, de soudage, de manutention, de tri et d'assemblage dans le domaine industriel, de services d'entretien ménager et de soins aux personnes âgées à domicile, d'assistance chirurgicale et de soins quotidiens dans le domaine médical, ainsi que de plantation, de fertilisation et de récolte dans l'agriculture, les scénarios d'application de l'intelligence incarnée sont vastes et diversifiés.
Cependant, bien que les robots actuels soient performants dans certaines tâches spécifiques, ils manquent encore de polyvalence, ce qui signifie que nous devons former un modèle pour chaque tâche, chaque robot et même chaque scénario d’application. En nous appuyant sur notre expérience réussie dans des domaines tels que le traitement du langage naturel et la vision par ordinateur, nous pourrions être en mesure de former des robots à être plus généraux en leur permettant d’apprendre à partir d’ensembles de données vastes et diversifiés. mais,Les ensembles de données robotiques existants se concentrent souvent sur un seul environnement, un ensemble d’objets ou une tâche spécifique. Il est difficile d’obtenir des ensembles de données volumineux et diversifiés sur l’interaction robotique.
En réponse à cela, Google DeepMind s'est associé à 21 institutions de renommée internationale, dont l'Université de Stanford, l'Université Jiaotong de Shanghai, NVIDIA, l'Université de New York, l'Université Columbia, l'Université de Tokyo, RIKEN, l'Université Carnegie Mellon, l'ETH Zurich et l'Imperial College de Londres pour intégrer 60 ensembles de données de robots existants.Création d'un ensemble de données d'apprentissage robotique ouvert, à grande échelle et standardisé - Open X-Embodiment.
Il est entendu que l'ensemble de données Open X-Embodiment couvre divers environnements et changements de robots et est actuellement ouvert à la communauté de recherche. Afin de faciliter le téléchargement et l’utilisation par les utilisateurs, les chercheurs ont converti des ensembles de données provenant de différentes sources en un format de données unifié. À l’avenir, ils prévoient de coopérer avec la communauté d’apprentissage des robots pour promouvoir conjointement la croissance de cet ensemble de données. HyperAI a lancé le « Open X-Embodiment Real Robot Dataset » sur son site officiel, qui peut être téléchargé en un clic !
Ouvrir l'ensemble de données de robot réel X-Embodiment :
https://go.hyper.ai/JAeHn
Le plus grand ensemble de données robotiques open source à ce jour
Il est rapporté qu'Open X-Embodiment est le plus grand ensemble de données de robots réels open source à ce jour.Il couvre 22 types de robots différents, des robots à un seul bras aux robots à deux bras en passant par les robots quadrupèdes, avec un total de plus d'un million de trajectoires de robot et 527 compétences (160 266 tâches). Les chercheurs ont démontré que les modèles formés à partir de données provenant de plusieurs types de robots étaient plus performants que les modèles formés à partir de données provenant d’un seul type de robot.
La distribution de l’ensemble de données Open X-Embodiment est illustrée dans la figure ci-dessous.La figure (a) montre la distribution de 22 ensembles de données de morphologie de robots, parmi lesquels le robot Franka est le plus courant. La figure (b) montre la répartition des robots dans différents scénarios, avec le robot Franka dominant, suivi du robot Google. La figure (c) montre la distribution des trajectoires de chaque morphologie de robot, parmi lesquelles xArm et Google Robot contribuent au plus grand nombre de trajectoires. Les figures (d, e) montrent respectivement les compétences que possède le robot et les objets qu'il utilise. Les compétences comprennent la cueillette, le déplacement, la poussée, le placement, etc., et les objets comprennent des appareils électroménagers, de la nourriture, de la vaisselle, etc., qui sont de différents types.
Réunir les meilleures ressources institutionnelles pour promouvoir une application généralisée de la technologie robotique
L'ensemble de données Open X-Embodiment est composé de 60 ensembles de données indépendants.HyperAI a spécialement sélectionné pour vous quelques ensembles de données, qui sont brièvement présentés comme suit :
Ensemble de données de tâches de routage de câbles robotisés à plusieurs étapes de Berkeley Cable Routing
L'ensemble de données Berkeley Cable Routing a été publié par l'Université de Californie à Berkeley et l'équipe de recherche d'Intrinsic Innovation LLC. Il fait 27,92 Go au total et est utilisé pour étudier les tâches de manipulation de robots en plusieurs étapes.Spécialement utilisé pour les tâches de routage de câbles.Cette tâche représente un scénario complexe de manipulation robotique en plusieurs étapes dans lequel le robot doit enfiler un câble à travers une série de pinces, manipuler des objets déformables, fermer une boucle de perception visuelle et traiter des comportements étendus constitués de plusieurs étapes.
Utilisation directe :https://go.hyper.ai/igi9x
Ensemble de données CLVR Jaco Play Ensemble de données de clip de robot télécommandé
CLVR Jaco Play Dataset est un ensemble de données axé sur le domaine des robots télécommandés.D'une taille totale de 14,87 Go, il a été publié par une équipe de recherche de l'Université de Californie du Sud et du KAIST, et il fournit 1 085 clips du robot télécommandé Jaco 2, avec les annotations linguistiques correspondantes. Cet ensemble de données est une ressource précieuse pour les scientifiques et les développeurs travaillant dans des domaines tels que la télécommande robotique, le traitement du langage naturel et l'interaction homme-machine.
Utilisation directe :https://go.hyper.ai/WPxG8
Ensemble de données sur les robots du monde réel RT-1 Robot Action
Les chercheurs de Google ont proposé le modèle multitâche Robotics Transformer (RT-1), qui a permis d'obtenir des améliorations significatives dans la généralisation à zéro coup sur de nouvelles tâches, environnements et objets, démontrant une excellente évolutivité et des caractéristiques de modèle pré-entraînées.
Le modèle RT-1 a été formé sur un ensemble de données robotiques réelles à grande échelle (RT-1 Robot Action Dataset), en utilisant 13 bras robotiques EDR, chacun équipé d'un bras à 7 degrés de liberté, d'une pince à deux doigts et d'une base mobile.130 000 clips ont été collectés en 17 mois.D'une taille totale de 111,06 Go, chaque fragment est annoté avec une description textuelle des instructions d'exécution du robot. Les compétences de haut niveau couvertes dans l'ensemble de données comprennent la prise et le placement d'objets, l'ouverture et la fermeture de tiroirs, le retrait et le placement d'objets dans des tiroirs, le placement d'objets longs et fins à la verticale, le déplacement d'objets, le retrait de serviettes et l'ouverture de bocaux.Plus de 700 tâches utilisant une variété d'objets différents sont couvertes.
Utilisation directe :https://go.hyper.ai/V9gL0
Ensemble de données de trajectoire d'étiquette de langage de robot de table de langage
L'équipe Robotics at Google a proposé un cadre pour construire des robots capables d'interagir en temps réel dans le monde réel en utilisant des instructions en langage naturel. En s'entraînant sur un ensemble de données de centaines de milliers de trajectoires annotées linguistiquement, les chercheurs ont découvert que la politique résultante était capable d'exécuter 10 fois plus d'instructions que ce qui était possible auparavant, décrivant les compétences audiovisuelles et motrices de bout en bout du monde réel. Les chercheurs ont ouvert le code source de l’ensemble de données Language-Table utilisé dans leur étude.L'ensemble de données contient près de 600 000 trajectoires avec des étiquettes de langue.Utilisé pour promouvoir le développement de robots plus avancés et plus performants, capables d'interagir avec le langage naturel.
Utilisation directe :https://go.hyper.ai/9zvRk
Ensemble de données d'apprentissage robotique à grande échelle BridgeData V2
L'UC Berkeley, l'Université de Stanford, Google DeepMind et la CMU ont publié conjointement l'ensemble de données BridgeData V2, dédié à la promotion de la recherche en robotique évolutive.Contient 60 096 trajectoires de robots collectées dans 24 environnements différents.Parmi eux, 24 environnements sont répartis en 4 catégories. La plupart des données proviennent de différentes cuisines jouets, notamment des éviers, des cuisinières et des fours à micro-ondes, etc. Les environnements restants comprennent divers bureaux, des éviers jouets, des buanderies jouets, etc. Les tâches incluses dans l'ensemble de données sont le pick and place, le push and sweep, l'ouverture et la fermeture de portes et de tiroirs, ainsi que des tâches plus complexes telles que l'empilement de blocs, le pliage du linge et le balayage de supports granulaires, certains extraits de données contenant une combinaison de ces compétences.
Pour améliorer la capacité de généralisation du robot, les chercheurs ont collecté une grande quantité de données de tâches dans une variété d'environnements avec différents objets, positions de caméra et positionnement de l'espace de travail.Chaque trajectoire est accompagnée d'instructions en langage naturel correspondant à la tâche du robot.Les compétences acquises à partir de ces données peuvent être appliquées à de nouveaux objets et environnements, et même utilisées dans plusieurs institutions, faisant de cet ensemble de données une excellente ressource pour les chercheurs.
Utilisation directe :https://go.hyper.ai/mGXA1
Ensemble de données d'apprentissage du robot BC-Z
L'ensemble de données BC-Z a été publié conjointement par Google, Everyday Robots, l'Université de Californie à Berkeley et l'Université de Stanford. Cet ensemble de données d'apprentissage de robots à grande échelle vise à promouvoir le développement du domaine de l'apprentissage par imitation de robots, en particulier pour prendre en charge la généralisation des tâches à échantillon zéro, c'est-à-dire pour permettre aux robots d'effectuer de nouvelles tâches d'opération grâce à l'apprentissage par imitation sans expérience préalable.
L'ensemble de données contient plus de 25 877 scénarios de tâches opérationnelles différents, couvrant 100 tâches diverses.Ces tâches ont été collectées grâce à des processus de téléopération experte et d'autonomie partagée impliquant 12 robots et 7 opérateurs, accumulant 125 heures de temps de fonctionnement du robot. L'ensemble de données peut être utilisé pour former une politique multitâche à 7 degrés de liberté qui peut être réglée pour effectuer des tâches spécifiques en fonction d'une description verbale de la tâche ou d'une vidéo d'un humain exécutant la tâche.
Utilisation directe :https://go.hyper.ai/MdnFu
Les ensembles de données ci-dessus sont recommandés par HyperAI dans ce numéro. Si vous voyez des ressources de jeux de données de haute qualité, n'hésitez pas à laisser un message ou à soumettre un article pour nous le faire savoir !
Plus d'ensembles de données de haute qualité à télécharger :https://go.hyper.ai/P5Mtc