最大のオープンソース ロボット データ セット! DeepMind は 21 の機関と提携し、60 のデータセットを統合し、Open X-Embodiment をリリースして、身体化されたインテリジェンスの時代の到来を告げました。

最近、「ポーターとして泰山に勇敢に登るロボット犬」の動画がインターネット上で話題になった。この「ロボット犬」は重い物資を簡単に運ぶだけでなく、泰山の険しい山道を「飛ぶように歩く」こともできます。山のふもとから頂上まではわずか2時間です。中国の華春瑩外務次官も「ロボット犬は雄大な泰山でポーターの役割を果たしている。テクノロジーは人類に利益をもたらしている」と称賛した。

泰山文化観光集団財産会社が導入したこのロボット犬の主な仕事は、ゴミの掃除と物資の運搬であることが分かる。太山風景区の特殊な地形により、これまではゴミの清掃は人力による輸送のみに頼ることができ、乗客数のピーク時にはゴミの清掃と運搬ができないことがよくありました。実験に参加したこの「ロボット犬」は、強い地形適応力、高い安定性、高いバランス能力を備えているだけでなく、障害物も軽々と乗り越えることができ、耐荷重は最大120キログラムで、ゴミ出しの課題を一気に解決した。一気に作業効率が上がります。

Google RT-2、NVIDIA GR00T、Figure 02 ロボット、Tesla Optimus、Xiaomi CyberOne... 近年、ますます多くのロボットの出現に伴い、キャリアとしての身体化された知能も話題になっています。周囲の環境を感知、学習、対話することができ、人間の実生活に直接参加できるこれらのロボットは、市場で大きな可能性を秘めています。

産業分野では検査・溶接・輸送・仕分け・組立、家庭では家事代行や介護、医療分野では手術介助や日常介護、農業では種まき・施肥・収穫など、知性が体現されています。応用シナリオは幅広く、多様です。

ただし、現在のロボットは一部の特定のタスクでは良好に実行しますが、まだ汎用性に欠けています。つまり、タスクごと、ロボットごと、さらにはアプリケーション シナリオごとにモデルを個別にトレーニングする必要があります。自然言語処理やコンピュータービジョンなどの分野での成功体験を活用すれば、ロボットが広範囲で多様なデータセットから学習できるようにすることで、ロボットをより多用途に訓練できる可能性があります。しかし、既存のロボット データセットは、単一の環境、オブジェクトのセット、または特定のタスクのみに焦点を当てる傾向があり、ロボット インタラクションのための大規模で多様なデータセットを入手するのは困難です。

この点で、Google DeepMind は、スタンフォード大学、上海交通大学、Nvidia、ニューヨーク大学、コロンビア大学、東京大学、理化学研究所、カーネギー メロン大学、ETH チューリッヒ、インペリアル カレッジ ロンドンを含む 21 の国際的に有名な大学と提携しています。 60 の既存のロボット データセットを統合し、オープンで大規模な標準化されたロボット学習データセット - Open X-Embodiment を作成しました。

ロボット学習コミュニティとのオープン パートナーは、このデータセットの成長に貢献することが理解されています。 HyperAI Super Neural は、ワンクリックでダウンロードできる「Open X-Embodiment Real Robot Dataset」を公式 Web サイトで公開しました。

X 実施形態の実際のロボット データ セットを開く:
https://go.hyper.ai/JAeHn

これまでで最大のオープンソース ロボティクス データセット

Open X-Embodiment は、これまでで最大のオープンソースの実際のロボット データ セットであると報告されています。単腕ロボットから双腕ロボット、四足ロボットまで、22 の異なる形式のロボットをカバーし、100 万を超えるロボットの軌道と 527 のスキル (160,266 のタスク) が含まれています。研究者らは、複数の種類のロボットのデータでトレーニングされたモデルが、単一の種類のロボットのデータのみでトレーニングされたモデルよりも優れたパフォーマンスを発揮することを実証しました。

Open X-Embodiment データセットの分布を以下の図に示します。図 (a) は 22 種類のロボット データ セットの分布を示しており、その中で最も一般的なのは Franka ロボットです。図 (b) は、さまざまなシナリオにおけるロボットの分布を示しています。Franka ロボットが最も多く、次に Google ロボットが続きます。図 (c) は、ロボットの各形式の軌道分布を示しています。その中で、xArm と Google Robot が最も多くの軌道に貢献しました。写真(d、e)はそれぞれロボットが持つスキルと使用するアイテムを示しています。スキルには、選ぶ、動かす、押す、置くなどがあります。アイテムには家電、食品、食器などがあり、その種類は多岐にわたります。 。

ロボット技術の広範な応用を促進するために、トップ機関からリソースを集めます

Open X-Embodiment データセットは、60 の独立したデータセットで構成されています。HyperAI は、いくつかのデータ セットを特別に選択しました。簡単に説明します。

バークレー ケーブル ルーティングの多段ロボット ケーブル ミッション データセット

バークレー ケーブル ルーティング データ セットは、カリフォルニア大学バークレー校と Intrinsic Innovation LLC の研究チームによってリリースされ、合計 27.92 GB のこのデータ セットは、多段階のロボット操作タスクを研究するために使用されます。特にケーブル配線作業で使用されます。このタスクは、複雑な多段階のロボット操作シナリオを表しており、ロボットが一連のクランプにケーブルを通す必要があり、変形可能なオブジェクトの処理、視覚認識ループの終了、複数のステップで構成される拡張動作の処理などが含まれます。

直接使用します:https://go.hyper.ai/igi9x

CLVR Jaco Play Dataset リモート コントロール ロボット フラグメント データ セット

CLVR Jaco Play データセットは、遠隔操作ロボットの分野に焦点を当てたデータセットです。南カリフォルニア大学とKAISTの研究チームが公開した合計14.87GBのこのファイルには、遠隔操作ロボットJaco 2の1,085個のクリップと、対応する言語の注釈が含まれている。このデータセットは、ロボットの遠隔制御、自然言語処理、人間とコンピューターの相互作用などの分野を研究する科学者や開発者にとって非常に貴重なリソースです。

直接使用します:https://go.hyper.ai/WPxG8

RT-1 Robot Action 現実世界ロボット データセット

Google の研究者は、マルチタスク モデル Robotics Transformer (RT-1) を提案しました。これは、新しいタスク、環境、オブジェクトに対するゼロショット汎化において大幅な改善を達成し、優れたスケーラビリティと事前トレーニングされたモデルの特性を実証しました。

RT-1 モデルは、大規模な実世界のロボット データ セット (RT-1 ロボット アクション データ セット) でトレーニングされました。研究者らは、それぞれ 7 自由度のアームを備えた 13 個の EDR ロボット アームを使用しました。グリッパーとモバイルベース、17 か月で 130,000 のクリップを収集、合計 111.06 GB の各フラグメントには、ロボットによって実行される命令の説明テキストがマークされています。データセットでカバーされている高レベルのスキルには、物体の拾い上げと配置、引き出しの開閉、引き出しへの物体の取り出しと配置、細長い物体を立てて置く、物体を押し倒す、ナプキンを引く、瓶を開けるなどがあります。さまざまなオブジェクトを使用した 700 以上のタスクをカバーします。

直接使用します:https://go.hyper.ai/V9gL0

Language-Table ロボット言語ラベル軌跡データ セット

Google の Robotics は、現実世界で自然言語コマンドをリアルタイムに操作できるロボットを構築するためのフレームワークを提案しています。研究者らは、言語的に注釈が付けられた数十万の軌跡を含むデータセットでトレーニングすることにより、結果として得られたポリシーが、現実世界のオーディオ、オーディオ、モーターのエンドツーエンドのスキルを記述する 10 倍多くの命令を実行できることを発見しました。研究者らは、研究で使用された言語テーブル データセットをオープンソース化しました。このデータ セットには、言語ラベルが付いた約 600,000 の軌跡が含まれています。より高度で有能な自然言語対話型ロボットの開発を促進するために使用されます。

直接使用します:https://go.hyper.ai/9zvRk

BridgeData V2 大規模ロボット学習データセット

カリフォルニア大学バークレー校、スタンフォード大学、Google DeepMind、CMU は共同で、スケーラブルなロボット研究の促進に特化した BridgeData V2 データセットをリリースしました。24 の異なる環境で収集された 60,096 個のロボットの軌跡が含まれています。このうち 24 の環境は 4 つのカテゴリに分類されており、データのほとんどはシンク、コンロ、電子レンジなどのさまざまなおもちゃのキッチンから取得されており、残りの環境にはさまざまなデスクトップ、おもちゃのシンク、おもちゃのランドリーなどが含まれています。データセットに含まれるタスクには、ピック アンド プレイス、押して掃除する、ドアや引き出しの開け閉めのほか、ブロックを積む、洗濯物をたたむ、粒状メディアの洗浄などのより複雑なタスクがあり、一部のデータ セグメントにはこれらのスキルの組み合わせが含まれています。 。

ロボットの汎用化機能を強化するために、研究者は、物体、カメラの位置、作業空間の向きが異なるさまざまな環境で大量のタスク データを収集しました。各軌道には、ロボットのタスクに対応する自然言語の指示が伴います。このデータから学んだスキルは、機関を越えてでも新しいオブジェクトやコンテキストに適用できるため、このデータセットは研究者にとって重要なリソースになります。

直接使用します:https://go.hyper.ai/mGXA1

BC-Z ロボット学習データセット

BC-Z データセットは、Google、Everyday Robots、カリフォルニア大学バークレー校、スタンフォード大学によって共同リリースされました。この大規模なロボット学習データセットは、ロボット模倣学習の分野の発展を促進すること、特にゼロゼロ学習をサポートすることを目的としています。ショットタスクの一般化。つまり、ロボットに、経験がなくても模倣学習を通じて新しい操作タスクを実行させます。

データセットには、100 の多様なタスクをカバーする 25,877 以上の異なる運用タスク シナリオが含まれています。これらのタスクは専門家の遠隔操作と共有自律プロセスを通じて収集され、12 台のロボットと 7 人のオペレーターが関与し、ロボットの操作時間は合計 125 時間になりました。このデータセットを使用して、タスクの口頭説明または人間の操作のビデオに基づいて特定のタスクを実行するように適合できる 7 自由度のマルチタスク ポリシーをトレーニングできます。

直接使用します:https://go.hyper.ai/MdnFu

上記は、この号で HyperAI が推奨するデータ セットです。高品質のデータ セット リソースを見つけた場合は、メッセージを残すか、投稿してお知らせください。

さらに高品質のデータセットをダウンロードします。https://go.hyper.ai/P5Mtc