HandOccNet : Réseau d'estimation de maillage 3D de la main robuste à l'occlusion

Les mains sont souvent fortement occultées par des objets, ce qui rend l'estimation de la maille 3D des mains particulièrement difficile. Les travaux précédents ont souvent négligé les informations dans les régions occultées. Cependant, nous soutenons que ces régions occultées présentent des corrélations fortes avec les mains et peuvent donc fournir des informations hautement bénéfiques pour une estimation complète de la maille 3D des mains. Ainsi, dans cette étude, nous proposons un nouveau réseau d'estimation de la maille 3D des mains, appelé HandOccNet, capable d'exploiter pleinement les informations dans les régions occultées comme moyen secondaire pour améliorer et enrichir les caractéristiques d'image.Pour ce faire, nous avons conçu deux modules successifs basés sur des Transformers, nommés feature injecting transformer (FIT) et self-enhancing transformer (SET). Le module FIT injecte des informations sur la main dans les régions occultées en tenant compte de leurs corrélations. Le module SET affine le résultat du FIT en utilisant un mécanisme d'auto-attention. En injectant les informations sur la main dans les régions occultées, notre HandOccNet atteint des performances de pointe sur les bancs d'essai de mailles 3D des mains contenant des occultations complexes entre main et objet. Les codes sources sont disponibles à l'adresse suivante : https://github.com/namepllet/HandOccNet.