Nous proposons HandLer, une nouvelle architecture convolutive capable de détecter et de suivre en temps réel les mains dans des vidéos non contraintes. HandLer repose sur Cascade-RCNN et intègre trois étapes innovantes. La première étape, appelée Propagation vers l’avant, consiste à transférer les caractéristiques de la trame t-1 vers la trame t en s’appuyant sur les mains détectées précédemment et sur leurs mouvements estimés. La deuxième étape, la Détectection et la Régression vers l’arrière, utilise les sorties de la propagation vers l’avant pour détecter les mains dans la trame t ainsi que leurs décalages relatifs par rapport à la trame t-1. La troisième étape utilise une méthode standard de pose humaine pour relier les trajectoires fragmentées des mains. Nous entraînons les étapes de propagation vers l’avant, de régression vers l’arrière et de détection de manière end-to-end, conjointement avec les autres composants de Cascade-RCNN. Pour entraîner et évaluer HandLer, nous introduisons également YouTube-Hand, le premier jeu de données à grande échelle et exigeant, dédié aux vidéos non contraintes, annoté avec les localisations des mains et leurs trajectoires. Les expériences menées sur ce jeu de données ainsi que sur d’autres benchmarks montrent que HandLer surpasse de manière significative les algorithmes d’état de l’art existants en suivi de mains.