Command Palette
Search for a command to run...
WiLoR : Localisation et reconstruction 3D end-to-end de la main dans des environnements réels
WiLoR : Localisation et reconstruction 3D end-to-end de la main dans des environnements réels
Potamias Rolandos Alexandros Zhang Jinglei Deng Jiankang Zafeiriou Stefanos
Résumé
Ces dernières années, les méthodes d'estimation de la pose 3D de la main ont suscité un intérêt croissant en raison de leurs nombreuses applications dans l'interaction homme-machine, la réalité virtuelle et la robotique. En revanche, un écart notable persiste dans les chaînes de détection de mains, posant des défis importants pour la construction de systèmes efficaces de reconstruction multi-mains en situation réelle. Dans ce travail, nous proposons une chaîne de traitement pilotée par les données pour une reconstruction multi-mains efficace dans des environnements réels (« in the wild »). La méthode proposée se compose de deux composants : une localisation en temps réel de la main basée sur un réseau entièrement convolutif, et un modèle de reconstruction 3D à haute fidélité fondé sur un transformateur. Pour surmonter les limites des méthodes antérieures et concevoir un réseau de détection robuste et stable, nous introduisons un grand jeu de données comprenant plus de 2 millions d’images de mains prises dans des environnements réels, couvrant une grande variété de conditions d’éclairage, d’illumination et de masquage. Notre approche dépasse les méthodes précédentes en termes de performance à la fois en efficacité et en précision sur des benchmarks populaires en 2D et 3D. Enfin, nous démontrons l’efficacité de notre chaîne pour réaliser un suivi 3D fluide des mains à partir de vidéos monoculaires, sans recourir à aucun composant temporel. Le code, les modèles et le jeu de données sont disponibles à l’adresse suivante : https://rolpotamias.github.io/WiLoR.