CLIFF: حمل معلومات الموقع في الإطارات الكاملة لتقدير وضع وشكل الإنسان

تسيطر الطرق من الأعلى إلى الأسفل على مجال تقدير وضع وشكل الإنسان ثلاثي الأبعاد، لأنها منفصلة عن اكتشاف الإنسان وتسمح للباحثين بالتركيز على المشكلة الأساسية. ومع ذلك، فإن الخطوة الأولى وهي التقطيع تفقد المعلومات المكانية منذ البداية، مما يجعل هذه الطرق غير قادرة على التنبؤ بدقة بالدوران العالمي في نظام الإحداثيات الأصلي للكاميرا. لحل هذه المشكلة، نقترح إدخال معلومات الموقع في الإطارات الكاملة (CLIFF) لهذا المهمة. بتحديد أكثر، نمد CLIFF بمزيد من الخصائص الشمولية من خلال دمج خاصية الصورة المقطوعة بمعلومات صندوق الحدود الخاص بها. نحسب خسارة إعادة الإسقاط ثنائية الأبعاد مع رؤية أوسع للإطار الكامل، باستخدام عملية إسقاط مشابهة لتلك التي يتم فيها إسقاط الشخص في الصورة. عند تغذيتها وإشرافها بالمعلومات العالمية المكانية، تقوم CLIFF بالتنبؤ مباشرة بالدوران العالمي بالإضافة إلى وضعيات مفصلية أكثر دقة. علاوة على ذلك، نقترح مصحح بيانات شبه حقيقي يعتمد على CLIFF، والذي يوفر رسومات ثلاثية الأبعاد عالية الجودة لمجموعات البيانات ثنائية الأبعاد في البيئة الطبيعية ويوفر إشرافًا كاملاً حاسمًا للطرق المستندة إلى الانحدار. أظهرت التجارب الواسعة على مقاييس شعبية أن CLIFF تتفوق بشكل كبير على الأعمال السابقة وتصل إلى المركز الأول في لوحة الترتيب AGORA (مسار خوارزميات SMPL). يمكن الوصول إلى الكود والبيانات عبر الرابط https://github.com/huawei-noah/noah-research/tree/master/CLIFF.