要約
リアルタイム3D手メッシュ再構成は、特に物体を握っている状態では極めて困難である。従来の手法を超越して、本研究ではH2ONetを設計し、複数フレームからの非隠蔽情報を効果的に活用することで、再構成精度を向上させることを目指した。まず、手メッシュ再構成を2つのブランチに分離する。一方は指レベルの非隠蔽情報を活用し、他方は手全体の姿勢（グローバルな手の向き）を捉える。両ブランチとも軽量な構造を採用することで、リアルタイム推論を実現した。次に、指レベルの隠蔽状態を意識した特徴融合手法を提案。予測された指レベルの隠蔽情報をガイドとして用い、時間的に跨がる指レベルの情報を効果的に統合する。さらに、手レベルの隠蔽状態を意識した特徴融合機構を設計し、近接する時間フレームから非隠蔽情報を取得する。本手法は、手と物体の隠蔽が顕著な難易度の高いケースを含むDex-YCBおよびHO3D-v2データセット上で評価された結果、リアルタイム動作を実現しつつ、手メッシュ再構成精度および姿勢推定精度の両面で最先端の性能を達成した。コードはGitHubにて公開予定である。