HandOccNet: 障害物に強い3D手のメッシュ推定ネットワーク

手はしばしば物体によって重度に隠されることがあり、これが3次元手メッシュ推定を難しくしています。従来の研究では、隠れた領域の情報が無視されることが多かったですが、我々は隠れた領域と手との間に強い相関関係があるため、完全な3次元手メッシュ推定に非常に有益な情報を提供できると考えています。したがって、本研究では、隠れた領域の情報を補完的な手段として完全に活用し、画像特徴を豊かにする新しい3次元手メッシュ推定ネットワーク「HandOccNet」を提案します。この目的のために、我々は2つの連続するトランスフォーマーベースのモジュール、「Feature Injecting Transformer（FIT）」と「Self-Enhancing Transformer（SET）」を設計しました。FITは、隠れた領域と手との相関関係を考慮して、手の情報を隠れた領域に注入します。SETは、自己注意機構を使用してFITの出力を精緻化します。隠れた領域に手の情報を注入することで、我々のHandOccNetは困難な手-物体遮蔽を含む3次元手メッシュベンチマークで最先端の性能を達成しています。コードは以下のURLから入手可能です: https://github.com/namepllet/HandOccNet.