استخدام الثبات الضوئي عبر الزمن للإعادة البناء النادرة الإشراف لليد والكائنات
نمذجة التلاعبات بين اليد والكائن ضرورية لفهم كيفية تفاعل البشر مع بيئتهم. رغم أهميتها العملية، فإن تقدير وضعية الأيدي والكائنات أثناء التفاعلات يشكل تحديًا بسبب الإخفاء المتبادل الكبير الذي يحدث أثناء التلاعب. تم توجيه الجهود الأخيرة نحو طرق مراقبة كاملة تتطلب كميات كبيرة من العينات التدريبية المصنفة. ومع ذلك، فإن جمع بيانات الحقيقة الأرضية ثلاثية الأبعاد للتلاعبات بين اليد والكائن باهظ الثمن، مرهق، وعرضة للأخطاء. لتجاوز هذا التحدي، نقدم طريقة تستفيد من التجانس الضوئي عبر الزمن عندما تكون التعليقات متاحة فقط لمجموعة نادرة من الإطارات في الفيديو. يتم تدريب نموذجنا بشكل شامل على صور ملونة لإعادة بناء الأيدي والكائنات ثلاثية الأبعاد عن طريق استنتاج وضعياتها. بناءً على إعادة بنائنا المقدرة، نقوم بتصنيع تدفق البصري بشكل قابل للتفاضل بين أزواج الصور المجاورة واستخدامه داخل الشبكة لتشويه إطار إلى آخر. ثم نطبق خسارة ضوئية ذاتية الرقابة تعتمد على التجانس البصري بين الصور القريبة. نحقق أفضل النتائج في مقاييس إعادة بناء اليد والكائن ثلاثي الأبعاد ونثبت أن منهجيتنا تسمح لنا بتحسين دقة تقدير الوضعية من خلال الاستفادة من المعلومات الموجودة في الإطارات المجاورة في ظروف البيانات المنخفضة.