MaskHand: نموذج التحجب التوليدي لإعادة بناء الشبكة اليدوية بثبات في البيئة الطبيعية

إعادة بناء شبكة يد ثلاثية الأبعاد من صورة واحدة باللون والضوء (RGB) هي مهمة معقدة بسبب التحولات المعقدة، الاختفاء الذاتي، وغموض العمق. الطرق التمييزية التقليدية، التي تتعلم خريطة حتمية من صورة ثنائية الأبعاد إلى شبكة ثلاثية أبعاد واحدة، غالباً ما تعاني من الغموض المتأصل في عملية الخرائط ثنائية الأبعاد إلى ثلاثية الأبعاد. لمعالجة هذا التحدي، نقترح MaskHand، وهو نموذج مasked توليدي جديد لإعادة بناء شبكة اليد الذي يقوم بتركيب شبكات يد ثلاثية أبعاد محتملة عن طريق تعلم وتوليد عينات من التوزيع الاحتمالي لعملية الخرائط ثنائية الأبعاد إلى ثلاثية الأبعاد المبهمة. يتكون MaskHand من مكونين رئيسيين: (1) VQ-MANO، الذي يقوم بتشفير تحولات اليد الثلاثية الأبعاد كرموز وضع متقطعة في فضاء خفي (latent space)، و(2) Transformer مasked موجه بالسياق (Context-Guided Masked Transformer) الذي يخفي بشكل عشوائي رموز الوضع ويتعلم توزيعها المشترك، مشروطاً بمتتابعة الرموز الفاسدة (corrupted token sequence)، سياق الصورة، وإشارات وضع ثنائية الأبعاد. يساعد هذا التوزيع المتعلم على إجراء عملية العينة المشروطة بالثقة أثناء الاستدلال (inference)، مما ينتج إعادة بناء للشبكة ذات عدم اليقين المنخفض والدقة العالية. أظهرت التقييمات الواسعة على قواعد بيانات معيارية وأخرى حقيقية أن MaskHand يصل إلى دقة وثبات وواقعية غير مسبوقة في إعادة بناء شبكة اليد الثلاثية الأبعاد. موقع المشروع:https://m-usamasaleem.github.io/publication/MaskHand/MaskHand.html.