リアルタイムの全体的なロボット姿勢推定における未知の状態

RGB画像からロボットの姿勢を推定することは、コンピュータビジョンとロボット工学における重要な問題です。従来の手法は有望な性能を達成していますが、多くの場合、ロボットの内部状態（例えば、真値の関節角度）が完全に既知であるという前提を置いています。しかし、この仮定は実際の状況では常に妥当とは限りません。複数ロボット協調や人間-ロボット相互作用などの実世界アプリケーションにおいて、ロボットの関節状態が共有されないか、または信頼できないことがあります。一方で、関節状態の事前情報なしでロボットの姿勢を推定する既存のアプローチは、計算負荷が重いためリアルタイムアプリケーションをサポートできません。本研究では、既知のロボット状態を必要とせずにRGB画像からリアルタイムでロボットの姿勢を推定する効率的なフレームワークを提案します。我々の方法はカメラからロボットへの回転、ロボット状態パラメータ、キーポイント位置、ルート深度を推定し、各タスクのためにニューラルネットワークモジュールを使用して学習とシミュレーションから実世界への移行を容易にします。特に、反復最適化なしで単一の順方向パスでの推論を達成しています。我々のアプローチは最先端の精度を持ちつつ12倍速い処理速度を提供し、初めてリアルタイムでの包括的なロボット姿勢推定を可能にしました。コードとモデルはhttps://github.com/Oliverbansk/Holistic-Robot-Pose-Estimation で公開されています。