Sélection efficace de vues virtuelles pour l'estimation de la posture 3D de la main

L’estimation de la pose 3D de la main à partir d’une seule image profonde est un problème fondamental en vision par ordinateur, avec de nombreuses applications. Toutefois, les méthodes existantes peinent encore à obtenir des résultats satisfaisants en raison des variations de vue et des occlusions caractéristiques de la main humaine. Dans cet article, nous proposons un nouveau module de sélection et de fusion de vues virtuelles pour l’estimation de la pose 3D de la main à partir d’une seule image profonde. Nous suggérons de sélectionner automatiquement plusieurs points de vue virtuels pour l’estimation de la pose, puis de fusionner les résultats obtenus, une approche qui s’est avérée empiriquement précise et robuste. Afin de sélectionner les vues virtuelles les plus efficaces pour la fusion, nous évaluons ces vues en fonction de leur confiance, à l’aide d’un réseau léger obtenu par distillation de réseau. Des expériences menées sur trois bases de données standard majeures — NYU, ICVL et Hands2019 — montrent que notre méthode dépasse les états de l’art sur NYU et ICVL, et atteint des performances très compétitives sur Hands2019-Task1. De plus, le module de sélection et de fusion de vues virtuelles proposé s’avère efficace pour l’estimation de la pose 3D de la main.