H2ONet: شبكة تُراعي اليد المُغطاة والاتجاه لاستعادة شكل اليد ثلاثي الأبعاد في الزمن الفعلي

إن إعادة بناء شبكة اليد ثلاثية الأبعاد في الزمن الحقيقي يُعد تحديًا كبيرًا، خاصة عند امساك اليد لجسم ما. وبخلاف الطرق السابقة، قمنا بتصميم H2ONet للاستفادة الكاملة من المعلومات غير المُغطاة عبر عدة إطارات لتحسين جودة إعادة البناء. أولاً، قمنا بفصل إعادة بناء شبكة اليد إلى فرعين: فرع يُستغل فيه المعلومات غير المُغطاة على مستوى الأصابع، وفرع آخر يستخدم المعلومات العالمية لاتجاه اليد، مع استخدام هيكل خفيف الوزن لتعزيز الاستنتاج في الزمن الحقيقي. ثانيًا، قمنا بطرح تقنية دمج الميزات المُدركة للإغلاق على مستوى الأصابع، حيث تُستخدم معلومات الإغلاق المُتوقعة على مستوى الأصابع كمرشد لدمج المعلومات على مستوى الأصابع عبر الإطارات الزمنية. بالإضافة إلى ذلك، طوّرنا تقنية دمج الميزات المُدركة للإغلاق على مستوى اليد، بهدف استرجاع المعلومات غير المُغطاة من الإطارات الزمنية القريبة. أجرينا تجارب على مجموعتي بيانات Dex-YCB وHO3D-v2، اللتين تضمّان حالات صعبة من الإغلاق بين اليد والجسم، وتبين أن H2ONet قادر على العمل في الزمن الحقيقي ويحقق أداءً متميزًا على مستوى دقة شبكة اليد ودقة وضعية اليد. سيتم نشر الشفرة المصدرية على GitHub.