I2UV-HandNet: شبكة تنبؤ من الصورة إلى UV لنمذجة شبكية اليد ثلاثية الأبعاد بدقة وولادة عالية الجودة

إعادة بناء اليد البشرية ثلاثية الأبعاد بدقة عالية وولاء عالٍ من صورة لونية تلعب دورًا محوريًا في نسخ يد افتراضية واقعية في تطبيقات التفاعل بين الإنسان والحاسوب والواقع الافتراضي. تعاني النتائج الناتجة عن الطرق الحالية من نقص في الدقة والولاء بسبب تنوع وضعيات اليد والاختناقات الشديدة. في هذه الدراسة، نقترح نموذج I2UV-HandNet لتقدير دقيق لوضعية وشكل اليد ثلاثية الأبعاد، بالإضافة إلى إعادة بناء تفصيلي عالي الدقة لليد ثلاثية الأبعاد. وبشكل خاص، نقدم أول تمثيل لشكل اليد ثلاثية الأبعاد يعتمد على نظام الإحداثيات UV. ولإعادة بناء شبكة يد ثلاثية الأبعاد من صورة RGB، نصمم نموذج AffineNet للتنبؤ بخريطة موضع UV من المدخلات بطريقة تحويل الصورة إلى صورة. ولتحقيق شكل بولاء أعلى، نستخدم نموذجًا إضافيًا يُسمى SRNet لتحويل خريطة UV منخفضة الدقة الناتجة عن AffineNet إلى خريطة عالية الدقة. ولأول مرة، نُظهر القدرة التوصيفية لتمثيل شكل اليد ثلاثية الأبعاد القائم على نظام الإحداثيات UV. وتُظهر تجاربنا أن الطريقة المقترحة تحقق أداءً متفوقًا على مستوى الحد الأقصى في عدة معايير صعبة.