手と操作対象の同時再構成の学習

手と物体の操作を推定することは、人間の行動を解釈および模倣するために不可欠です。これまでの研究では、手の姿勢と物体の形状を個別に再構築する分野で大きな進展が見られました。しかし、操作中に手と物体を再構築することは、両方の視認性が大幅に妨げられるため、より困難な課題となっています。一方で、接触の物理制約により有効な手-物体構成の範囲が制限されるため、操作は問題を単純化する可能性もあります。例えば、操作中には手と物体は接触しているべきですが、互いに貫通してはなりません。本研究では、操作制約を使用して手と物体の同時再構築を正規化します。我々は、物理的に妥当な手-物体配置を好む新しい接触損失を利用したエンドツーエンド学習可能なモデルを提案します。このアプローチはRGB画像を入力として使用し、ベースラインよりも握り品質指標を改善します。また、モデルの訓練と評価のために大規模な合成データセットObMan（Hand-Object Manipulations）も提案しています。ObManで訓練されたモデルが実際のデータにも適用可能であることを示す実験を行いました。注：「ObMan」は「Hand-Object Manipulations」から派生したデータセット名であり、「手と物体の操作」を意味します。