Wir stellen HandLer vor, eine neuartige konvolutionale Architektur, die in unbeschränkten Videos handschriftlich und online gleichzeitig detektieren und verfolgen kann. HandLer basiert auf Cascade-RCNN und verfügt über drei zusätzliche, neuartige Stufen. Die erste Stufe ist die Vorwärtspropagation, bei der Merkmale aus Frame t−1 basierend auf zuvor detektierten Händen und deren geschätzter Bewegung auf Frame t übertragen werden. Die zweite Stufe ist die Detektion und Rückwärtsregression, die die Ausgaben der Vorwärtspropagation nutzt, um Hände im Frame t sowie deren relativen Versatz im Frame t−1 zu detektieren. Die dritte Stufe verwendet eine kommerziell erhältliche Methode zur menschlichen Pose, um beliebige unterbrochene Hand-Tracklets zu verbinden. Die Vorwärtspropagation, die Rückwärtsregression und die Detektion werden gemeinsam mit den übrigen Komponenten von Cascade-RCNN end-to-end trainiert. Um HandLer zu trainieren und zu evaluieren, tragen wir außerdem YouTube-Hand bei, das erste anspruchsvolle, großskalige Datenset aus unbeschränkten Videos, das mit Handpositionen und deren Trajektorien annotiert ist. Experimente an diesem Datenset und weiteren Benchmarks zeigen, dass HandLer die bestehenden State-of-the-Art-Verfolgungsalgorithmen deutlich übertrifft.