التعلم التعاوني لإعادة بناء اليد والكائن باستخدام الدِّيَات الموجهة بالانتباه في الشبكة المُتَوَلِّدَة

تقدير وضعية وشكل اليدين والأشياء أثناء التفاعل له تطبيقات عديدة، بما في ذلك الواقع المعزز والواقع الافتراضي. تتطلب الأساليب الحالية لإعادة بناء اليدين والأشياء قيودًا فيزيائية محددة بشكل صريح وأشياء معروفة، مما يحد من مجالات تطبيقها. خوارزميتنا لا تعتمد على نماذج الأشياء، وهي تتعلم القواعد الفيزيائية التي تحكم تفاعل اليدين مع الأشياء. هذا يتطلب استنتاج أشكال وتداخلات اليدين (والأشياء المحتمل أن تكون غير معروفة) بشكل آلي. نسعى لمعالجة هذه المشكلة الصعبة من خلال اقتراح استراتيجية تعلم مشتركة حيث يقوم فرعين من الشبكات العميقة بالتعلم من بعضهما البعض. بصفة خاصة، ننقل معلومات شبكة اليد إلى الفرع المتعلق بالأشياء وبالعكس من الأشياء إلى اليد. يمكن أن يكون المسألة الناتجة عن التحسين (التدريب) غير مستقرة، ونعالج هذا عبر استراتيجيتين: (i) التفاف الرسم البياني الموجه بالانتباه الذي يساعد في تحديد التركيز على التداخل المتبادل و(ii) الخسارة الجمعية غير المنظورة التي تسهل نقل المعلومات بين الفرعين. أظهرت التجارب باستخدام أربع مقاييس شائعة الاستخدام أن إطارنا العمل يحقق دقة تتجاوز أفضل ما تم تحقيقه سابقًا في تقدير وضعية ثلاثية الأبعاد، بالإضافة إلى استرجاع أشكال كثيفة ثلاثية الأبعاد لليدين والأشياء. كل مكون فني مذكور أعلاه يساهم بشكل كبير في دراسة الاستبعاد (ablation study).