私たちは、マーカーを使用せずに2つの手が物体を操作する際の主観的な相互作用認識のために包括的なフレームワークを提示します。この目的達成のため、私たちは主観的な3D相互作用認識用の統合データセットを作成する方法を提案します。私たちの方法は、各フレームに対して2つの手の3D姿勢と操作される物体の6D姿勢のアノテーション、およびそれらの相互作用ラベルを生成します。私たちのデータセット「H2O（2 Hands and Objects）」は、同期された多視点RGB-D画像、相互作用ラベル、物体クラス、左手と右手の真値3D姿勢、6D物体姿勢、真値カメラ姿勢、物体メッシュ、シーンポイントクラウドを提供します。当該研究において最善の知識に基づく限りでは、これは初めて両手が物体を操作する際の姿勢を使用して第一人称アクションを研究できるベンチマークであり、主観的な3D相互作用認識に前例ない詳細レベルを提供しています。さらに、私たちはRGB画像から2つの手と操作される物体の3D姿勢と6D姿勢を共同で推定することにより相互作用クラスを予測する方法も提案します。私たちの方法はグラフ畳み込みネットワークが相互作用を予測するために学習するトポロジーによって両手と物体間の相関依存性と内部依存性双方をモデル化します。実験結果から示されるように、このデータセットによって補完された私たちの方法は共同での手-物体姿勢推定における強力なベースラインを確立し、第一人称相互作用認識において最先端の一貫性を持つ精度を達成しています。