手と物体の相互遮蔽が存在する状況下での3D姿勢推定の課題に対処するために、手が物体を操作している画像に、手と物体の両方の3D姿勢を注釈付ける方法およびその方法を使用して作成されたデータセットを提案します。当該問題に対する現在の課題は、実際の画像に注釈を付けることが不足しており、これは主に手と物体の相互遮蔽によって難易度が高まっているためです。この課題に対処するため、1台または複数台のRGB-Dカメラでシーケンスを撮影し、全フレームに対して手と物体の3D姿勢を同時に関節最適化します。この方法により、大規模な相互遮蔽があるにもかかわらず、各フレームを正確な姿勢推定で自動的に注釈付けることが可能になります。この方法を使用して、HO-3Dという名称で初めてマーカーなしで色画像に3D注釈が付いたデータセットを作成しました。このデータセットは現在、77,558フレーム、68シーケンス、10人の被験者、10つの物体から構成されています。当社のデータセットを利用して、単一RGB画像に基づく方法を開発し、対象物との相互作用時に重度の遮蔽下でも手の姿勢を予測し、その方法がデータセットに含まれていない物体にも一般化することを示しました。