نموذج انتباه احتمالي مع استرجاع نسيجي يراعي التعتيم لإعادة بناء اليد ثلاثية الأبعاد من صورة RGB واحدة

في الآونة الأخيرة، أظهرت الطرق القائمة على التعلم العميق نتائج واعدة في إعادة بناء اليد ثلاثية الأبعاد من صورة RGB واحدة. يمكن تقسيم هذه الطرق إلى نوعين رئيسيين: الطرق القائمة على النموذج، التي تعتمد بشكل كبير على فضاء المعاملات للنموذج، والطرق الخالية من النموذج، التي تتطلب أعدادًا كبيرة من البيانات الحقيقية ثلاثية الأبعاد لتقليل الغموض في العمق، وغالبًا ما تواجه صعوبات في السيناريوهات ذات التدريب الضعيف. ولتجاوز هذه المشكلات، نقترح نموذجًا احتماليًا جديدًا يحقق مرونة الطرق القائمة على النموذج، ويقلل من الاعتماد على فضاء معاملات النموذج في الطرق الخالية من النموذج. يُدمج النموذج الاحتمالي المقترح بشبكة قائمة على النموذج كشبكة "مسبقة" (prior-net) لتقدير توزيع الاحتمالات المسبقة للعُقد والرؤوس. كما نقترح نموذجًا جديدًا يُعرف بـ "استرجاع عدم اليقين في رؤوس الشبكة القائم على الانتباه" (AMVUR)، والذي يُمكّن من التقاط الاعتماديات بين الرؤوس، والارتباط بين المفاصل ورؤوس الشبكة، بهدف تحسين تمثيل الميزات. وبالإضافة إلى ذلك، نقترح نموذجًا قائمًا على التعلم لإعادة بناء نسيج اليد يأخذ بعين الاعتبار حالات الازدحام (الإغلاق)، لتحقيق إعادة بناء عالي الدقة للنسيج. ونُظهر مرونة النموذج الاحتمالي المقترح في التدريب ضمن سيناريوهات مراقبة وسيناريوهات ضعيفة المراقبة على حد سواء. وتُظهر النتائج التجريبية أن النموذج الاحتمالي المُقترح يحقق دقةً من الدرجة الأولى في إعادة بناء اليد ثلاثية الأبعاد والنسيج من صورة واحدة، في كلا نمطَي التدريب، بما في ذلك في ظل حالات إغلاق شديدة.