視覚的外観と幾何学を融合した多モダリティ6自由度物体追跡

高度なロボット操作の多くの応用において、6自由度（6DoF）オブジェクト姿勢推定が継続的に必要とされています。本研究では、視覚的な外観と形状情報を融合してオブジェクトの姿勢を推定するマルチモダリティ追跡システムを開発しました。このアルゴリズムは、形状情報のみを使用する従来の方法ICGを拡張し、表面の外観も考慮することを目的としています。一般的に、オブジェクトの表面にはテキスト、グラフィックス、パターンなどの局所的な特徴や、異なる材料や色による全体的な違いが含まれています。これらの視覚情報を組み込むために、2つのモダリティを開発しました。局所的な特徴については、キーポイント特徴を使用してキーフレームからの点と現在の画像との間の距離を最小化します。全体的な違いについては、オブジェクト表面の複数の領域を考慮する新しい領域アプローチを開発しました。さらに、外部形状のモデリングも可能となっています。YCB-VideoおよびOPTデータセットでの実験結果は、我々の手法ICG+が両データセットで最優秀な性能を示し、従来法および深層学習ベースの方法を上回っていることを示しています。同時に、このアルゴリズムは非常に効率的で300 Hz以上で動作します。我々の追跡システムのソースコードは公開されています。