TexturePose: إشراف تقدير الشبكة البشرية باتساق النسيج

يتناول هذا العمل مشكلة تقدير وضع الجسم البشري بناءً على النماذج. لقد أحرزت الطرق الحديثة تقدماً كبيراً نحو استنتاج معلمات نماذج الجسم البشري المعلمة مباشرة من الصور. بسبب عدم وجود صور تحتوي على الحقيقة الأرضية للشكل ثلاثي الأبعاد، تعتمد الطرق ذات الصلة على التسميات ثنائية الأبعاد أو تصاميم هياكل معقدة. في هذا العمل، ندعو إلى أن هناك المزيد من العلامات التي يمكن الاستفادة منها، والتي تكون متاحة مجانًا في الصور الطبيعية، أي دون الحاجة إلى الحصول على المزيد من التسميات أو تعديل هيكل الشبكة. نقترح نوعًا طبيعيًا من الإشراف، يستفيد من ثبات مظهر الشخص بين الإطارات المختلفة (أو الزوايا المرئية). هذه العلامة التي قد تبدو غير مهمة وغالباً ما يتم تجاهلها لها دور مهم في تقدير وضع الجسم بناءً على النماذج. يتيح لنا النموذج المعلمة الذي نستخدمه حساب خريطة نسيج لكل إطار. بفرض أن نسيج الشخص لا يتغير بشكل كبير بين الإطارات، يمكننا تطبيق خسارة جديدة لثبات النسيج (texture consistency loss)، والتي تفرض أن كل نقطة في خريطة النسيج لها نفس قيمة النسيج عبر جميع الإطارات. بما أن النسيج يتم نقله في هذا الفضاء المشترك لخريطة النسيج، فلا حاجة لحساب حركة الكاميرا، وحتى فرض سلاسة بين الإطارات. هذا يجعل الإشراف المقترح لدينا قابلاً للتطبيق في مجموعة متنوعة من السيناريوهات، بدءًا من الفيديو الأحادي الرؤية وصولاً إلى الصور متعددة الزوايا المرئية. نقيس أداء منهجيتنا مقابل أسس قوية تتطلب نفس عدد التسميات أو حتى أكثر مما نحتاجه، ونحقق باستمرار أفضل منها. وفي الوقت نفسه، نحقق أفضل النتائج المعروفة حتى الآن بين الطرق القائمة على تقدير وضع الجسم البشري بناءً على النماذج في مختلف المقاييس. يمكن العثور على موقع المشروع مع مقاطع الفيديو والنتائج والكود في https://seas.upenn.edu/~pavlakos/projects/texturepose.