Command Palette
Search for a command to run...
Hongyu Li Lingfeng Sun Yafei Hu Duy Ta Jennifer Barry George Konidaris Jiahui Fu

要約
ロボットがゼロショットで新しい操作タスクを実行できるようにするという目標は、ロボティクス分野における中心的な課題である。既存の多くは、分布内(in-distribution)のタスクを想定するか、エビデンス(embodiment)に一致するデータを用いたファインチューニングに依存しており、プラットフォーム間の転移性に制限がある。本研究では、示例データを一切用いずに、タスク記述をターゲットロボット向けの実行可能な計画に変換できる自律型操作フレームワーク「NovaFlow」を提案する。タスク記述を入力として、NovaFlowはビデオ生成モデルを用いて動画を合成し、既存のパーシャルモジュールを活用してその動画から3次元の操作可能な物体フロー(object flow)を抽出・精製する。この物体フローから剛体物体の相対姿勢を推定し、グリップ提案と軌道最適化を用いてロボットの動作に変換する。可変形物体については、このフローを粒子ベースの動的モデルを用いたモデルベース計画における追跡目標として活用する。タスク理解と低レベル制御を分離することで、NovaFlowはエビデンス(身体構造)の違いを問わず自然に転移が可能となる。本研究では、卓上型のFrankaアームと、四足歩行型のSpotロボットを用いて、剛体、アーティキュレーテッド、可変形物体に対する操作タスクにおいて検証を行い、示例データやエビデンス特有の学習を一切行わずに、効果的なゼロショット実行を達成した。プロジェクトウェブサイト:this https URL。