時間的な光度一貫性を活用した疎監督下的な手と物体の再構成

手と物体の操作モデリングは、人間が環境とどのように相互作用するかを理解するために不可欠です。実践的な重要性がある一方で、操作中に手と物体の姿勢を推定することは、大きな相互遮蔽が発生することから困難です。最近の研究では、大量のラベル付き訓練サンプルを必要とする完全教師あり手法に焦点が当てられています。しかし、手と物体の相互作用に関する3次元真値データを収集することは高コストであり、煩雑で誤りが生じやすいです。この課題を克服するために、我々はビデオ内の疎なフレームサブセットに対してのみアノテーションが利用可能な場合でも時間的に光度の一貫性を利用できる方法を提案します。我々のモデルは、色画像上でエンドツーエンドで訓練され、3次元での手と物体の再構成を行うためにその姿勢を推論します。推定された再構成に基づいて、隣接する画像ペア間の光学フローを微分可能にレンダリングし、ネットワーク内で1つのフレームを別のフレームに変形させます。その後、近傍画像間の視覚的一貫性に依存する自己教師あり光度損失関数を適用します。我々は3次元手-物体再構成ベンチマークにおいて最先端の結果を得ており、低データ状況下で近傍フレームからの情報を活用することで姿勢推定精度を向上させることが可能であることを示しています。