نُقدِّم HandLer، وهي معمارية تلافيفية جديدة قادرة على الكشف عن اليدين وتتبعهما بشكل متزامن في مقاطع فيديو غير مقيدة وبشكل مباشر. تعتمد HandLer على معمارية Cascade-RCNN مع إضافة ثلاث مراحل جديدة ومبتكرة. المرحلة الأولى هي "الانتشار الأمامي"، حيث يتم نقل السمات من الإطار t-1 إلى الإطار t بناءً على اليدين المكتشفتين سابقًا وحركة هاتين اليدين المقدرة. المرحلة الثانية هي "الكشف والانحدار العكسي"، والتي تستخدم النتائج الناتجة عن الانتشار الأمامي للكشف عن اليدين في الإطار t وحساب الانزياح النسبي لهما في الإطار t-1. أما المرحلة الثالثة، فهي تستخدم طريقة شائعة لتحديد وضعية الإنسان (human pose method) لربط أي مسارات يد مجزأة. وتم تدريب مراحل الانتشار الأمامي والانحدار العكسي والكشف بشكل متكامل (end-to-end) مع بقية مكونات Cascade-RCNN. ولتدريب وتقييم HandLer، نقدِّم أيضًا مجموعة البيانات YouTube-Hand، وهي أول مجموعة بيانات كبيرة وصعبة تتضمن مقاطع فيديو غير مقيدة، تم تسمية مواقع اليدين ومساراتها. تُظهر التجارب التي أُجريت على هذه المجموعة وعلى معايير أخرى أن HandLer تتفوّق بفارق كبير على خوارزميات التتبع الحالية الأفضل في مجالها.