PolarNet: 言語ガイド付きロボット操作のための3次元点群データ

ロボットが自然言語の指示に基づいて操作タスクを理解し実行する能力は、ロボティクスにおける長期的な目標です。言語ガイド操作の主要なアプローチは2D画像表現を使用していますが、マルチビューカメラの統合や正確な3D位置と関係性の推論に難しさがあります。これらの制約に対処するために、我々は3D点群ベースのポリシーであるPolarNetを提案します。PolarNetは、慎重に設計された点群入力、効率的な点群エンコーダー、およびマルチモーダルトランスフォーマーを活用して、3D点群表現を学習し、それを言語指示と統合して行動予測を行うことができます。RLBenchベンチマークで行われた様々な実験において、PolarNetは効果的かつデータ効率が高いことが示されています。単一タスク学習および多様なタスク学習において、最先端の2Dおよび3Dアプローチを上回る性能を発揮しており、実際のロボットでも有望な結果を得ています。