WiLoR: التحديد والبناء ثلاثي الأبعاد لليد في البيئات الحقيقية من النهاية إلى النهاية

في السنوات الأخيرة، حظيت طرق تقدير وضع اليد ثلاثية الأبعاد باهتمام كبير بسبب تطبيقاتها الواسعة في التفاعل بين الإنسان والحاسوب، والواقع الافتراضي، والروبوتات. ومع ذلك، كان هناك فجوة ملحوظة في أنابيب اكتشاف اليد، مما يشكل تحديات كبيرة في بناء أنظمة إعادة بناء اليدين متعددة فعالة في العالم الحقيقي. في هذا البحث، نقدم أنبوبًا معتمدًا على البيانات لتعزيز كفاءة إعادة بناء اليدين المتعددة في البيئات الطبيعية. يتكون الأنبوب المقترح من مكونين رئيسيين: نظام توطين يد فوري بالكامل باستخدام الشبكات العصبية التلافيفية (fully convolutional hand localization) ونموذج إعادة بناء يد ثلاثية الأبعاد بدقة عالية مستند إلى المتحولات (transformer-based 3D hand reconstruction model). لمعالجة قيود الطرق السابقة وبناء شبكة اكتشاف قوية ومستقرة، نقدم مجموعة بيانات على نطاق واسع تتضمن أكثر من 2 مليون صورة يد طبيعية بظروف إضاءة ومراقبة وإخفاء متنوعة. أثبتت طريقتنا تفوقها على الطرق السابقة من حيث الكفاءة والدقة في مقاييس 2D و3D الشائعة. وأخيرًا، نعرض فعالية أنبوبنا في تحقيق تتبع سلس لليد ثلاثية الأبعاد من مقاطع الفيديو الأحادية بدون استخدام أي مكونات زمنية. يمكن الوصول إلى الرموز البرمجية والأنماط ومجموعة البيانات عبر الرابط التالي: https://rolpotamias.github.io/WiLoR.