إن إعادة بناء شبكة اليد ثلاثية الأبعاد من صور RGB يُسهّل العديد من التطبيقات، بما في ذلك الواقع المعزز (AR). ومع ذلك، يتطلب هذا الأمر ليس فقط سرعة في الزمن الحقيقي ودقة في وضع وشكل اليد، بل أيضًا تطابقًا واقعيًا بين الشبكة والصورة. وعلى الرغم من أن الدراسات الحالية قد حققت نتائج واعدة، إلا أن تحقيق جميع هذه المتطلبات الثلاثة يظل تحديًا كبيرًا. تقدم هذه الورقة نموذجًا جديدًا يتمثل في فصل مهمة إعادة بناء شبكة اليد إلى ثلاث مراحل: مرحلة المفاصل التي تُقدّر مواقع مفاصل اليد والتقسيم؛ ومرحلة الشبكة التي تُنتج شبكة يد أولية خشنة؛ ومرحلة التحسين التي تقوم بضبط الشبكة بدقة باستخدام شبكة انزلاقية (offset mesh) لتحقيق تطابق أفضل بين الشبكة والصورة. وبتصميم دقيق للهيكل الشبكي ووظائف الخسارة، نتمكن من تحقيق تطابق عالي الجودة على مستوى الأصابع بين الشبكة والصورة، ودفع النماذج لتحقيق تنبؤات في الزمن الحقيقي. وتوحي النتائج الكمية والكيفية الواسعة على مجموعات بيانات معيارية بأن جودة نتائجنا تفوق الطرق الحالية في دقة إعادة بناء شبكة اليد/وضع اليد، وكذلك في تطابق الشبكة مع الصورة. وفي النهاية، نُظهر أيضًا عدة سيناريوهات واقع معزز في الزمن الحقيقي.