時間における相互作用を用いた半教師付き3D手部-物体姿勢推定

単一画像から3次元の手と物体の姿勢を推定することは非常に困難な問題である：手や物体は相互作用中に自己遮蔽されることが多く、また3次元アノテーションが不足しており、人間ですら単一画像から完全に真値をラベリングすることは難しい。これらの課題に対処するため、我々は半教師あり学習を使用した3次元手と物体の姿勢推定の統一フレームワークを提案する。我々はトランスフォーマーによって手と物体表現間での明示的な文脈推論を行う共同学習フレームワークを構築する。単一画像における限られた3次元アノテーションを超えて、大規模な手-物体ビデオ内の空間時間的一貫性を利用し、半教師あり学習における疑似ラベル生成の制約として活用する。当手法は、困難な実世界データセットにおける手の姿勢推定精度を向上させるだけでなく、各インスタンスあたりの真値が少ない物体の姿勢についても大幅に改善する。大規模かつ多様なビデオで学習することで、当モデルは複数のドメイン外データセットにおいてもより良い汎化性能を示す。プロジェクトページおよびコード: https://stevenlsw.github.io/Semi-Hand-Object