المحولات الاستوائية

تُعد الطريقة الشائعة لتحديد مواقع المفاصل البشرية الثلاثية الأبعاد في بيئة متعددة الزوايا مزامنة ومُحدَّدة مسبقًا تتكون من خطوتين: (1) تطبيق كاشف ثنائي الأبعاد بشكل منفصل على كل زاوية لتحديد مواقع المفاصل في بُعدَيْن، و(2) إجراء عملية تثليث قوية على النتائج الثنائية الأبعاد الناتجة من كل زاوية للحصول على مواقع المفاصل الثلاثية الأبعاد. ومع ذلك، في الخطوة الأولى، يقتصر كاشف ثنائي الأبعاد على حل الحالات الصعبة التي قد تُحل بشكل أفضل في الفضاء ثلاثي الأبعاد، مثل الحالات التي تُعاني من التظليل أو الزوايا المائلة، دون الاستفادة من أي معلومات ثلاثية الأبعاد. لذلك، نقترح طريقة "المحول الإبيبولي (epipolar transformer)" القابلة للتفاضل، التي تتيح لكاشف ثنائي الأبعاد الاستفادة من الميزات المُدركة للبعد الثالث لتحسين تقدير الوضعية الثنائية الأبعاد. الفكرة الأساسية هي: مع إعطاء نقطة ثنائية الأبعاد ( p ) في الزاوية الحالية، نرغب أولًا في العثور على النقطة المقابلة ( p' ) في زاوية مجاورة، ثم دمج الميزات عند النقطة ( p' ) مع الميزات عند النقطة ( p )، مما يؤدي إلى الحصول على ميزة مُدركة للبعد الثالث عند النقطة ( p ). مستوحاة من تقنيات مطابقة الصور الثنائية (stereo matching)، يستخدم المحول الإبيبولي القيود الإبيبولية (epipolar constraints) وتقنيات مطابقة الميزات لتقريب الميزات عند النقطة ( p' ). أظهرت التجارب على مجموعتي بيانات InterHand وHuman3.6M تحسنًا متسقًا في الأداء مقارنةً بالأساليب السابقة. وبشكل خاص، في الحالة التي لا تُستخدم فيها بيانات خارجية، فإن نموذج Human3.6M المدرب باستخدام هيكل ResNet-50 وحجم صورة 256 × 256 يتفوق على أحدث الأساليب بنسبة 4.23 مم، ويحقق قيمة MPJPE قدرها 26.9 مم.