تقدير وضعيات اليد والكائنات ثلاثية الأبعاد بنصف الإشراف مع التفاعلات في الزمن

تقدير وضعية اليد والكائن ثلاثي الأبعاد من صورة واحدة هو مشكلة شديدة الصعوبة: فغالباً ما تكون اليدين والكائنات مغطاة جزئياً أثناء التفاعلات، ونادرًا ما تتوفر البيانات الشاخصة ثلاثية الأبعاد لأن البشر لا يستطيعون تحديد الحقيقة الأرضية بدقة من صورة واحدة. لمواجهة هذه التحديات، نقترح إطارًا موحدًا لتقدير وضعية اليد والكائن ثلاثي الأبعاد باستخدام التعلم شبه المشرف (Semi-Supervised Learning). نقوم ببناء إطار للتعلم المشترك حيث نجري استدلالًا سياقيًا واضحًا بين تمثيلات اليد والكائن باستخدام محول (Transformer). بالإضافة إلى تجاوز النقص في البيانات الشاخصة ثلاثية الأبعاد في الصورة الواحدة، نستفيد من التجانس المكاني-زماني في مقاطع الفيديو الكبيرة التي تحتوي على تفاعلات بين اليدين والكائنات كقيود لإنشاء ملصقات زائفة (Pseudo Labels) في التعلم شبه المشرف. طريقتنا لا تحسن تقدير وضعية اليد فحسب في مجموعة بيانات حقيقية معقدة، بل تحسن بشكل كبير أيضاً تقدير وضعية الكائن الذي يحتوي على عدد أقل من الحقائق الأرضية لكل حالة. عن طريق التدريب باستخدام مقاطع الفيديو المتنوعة والممتدة نطاقاً، فإن نموذجنا يتميز بقدرته على التعميم بشكل أفضل عبر عدة مجموعات بيانات خارج النطاق. صفحة المشروع والشفرة البرمجية: https://stevenlsw.github.io/Semi-Hand-Object