RGBビデオからの制約のない手と物体の同時再構成に向けて

私たちの研究は、単眼動画から手と操作対象物の3次元再構成を達成することを目指しています。手による物体操作の再構成は、ロボット工学や人間のデモンストレーションからの学習において大きな可能性を持っています。しかし、この問題に対する教師あり学習アプローチは3次元監督データを必要とし、3次元の真値が利用可能な制約のある実験室環境やシミュレータに限定されています。本論文ではまず、手と物体の再構成に適した学習不要な適合アプローチを提案します。この方法は、両手による物体操作も無縫接で処理できます。当手法は、物体検出、手の姿勢推定、インスタンスセグメンテーションなどの一般的な手法から得られる情報を基にしています。私たちは当アプローチを定量的に評価し、訓練データが利用できないさまざまな難易度を持つデータセットに適用可能であることを示しました。