AdaptPose: التكيف بين المجموعات للتقدير ثلاثي الأبعاد لموضع الإنسان من خلال توليد الحركة القابل للتعلم

يتناول هذا البحث مشكلة التعميم بين المجموعات البيانات لنموذج تقدير الوضع البشري ثلاثي الأبعاد. عند اختبار مقدر وضع ثلاثي الأبعاد تم تدريبه مسبقًا على مجموعة بيانات جديدة، ينتج عنه انخفاض كبير في الأداء. قد ركزت الأساليب السابقة بشكل أساسي على حل هذه المشكلة من خلال تحسين تنوع البيانات التدريبية. نحن نعتقد أن التنوع بمفرده ليس كافيًا وأن خصائص البيانات التدريبية يجب أن تتكيّف مع تلك الموجودة في المجموعة الجديدة من البيانات، مثل زاوية الكاميرا، الموقع، حركات الإنسان، وحجم الجسم. لهذا الغرض، نقترح نظام AdaptPose (أدابتبوس)، وهو إطار عمل شامل يولد حركات بشرية ثلاثية الأبعاد اصطناعية من مجموعة بيانات المصدر ويستخدمها لتغليظ مقدر الوضع الثلاثي الأبعاد. يتبع نظام AdaptPose مخطط تدريب معادي (Adversarial). من وضع ثلاثي أبعاد مصدر، يقوم المولد بإنتاج سلسلة من الأوضاع الثلاثية الأبعاد وتوجيه الكاميرا التي تُستخدم لعرض الأوضاع المولدة على وجهة نظر جديدة. بدون أي علامات ثلاثية الأبعاد أو معلومات عن الكاميرا، ينجح نظام AdaptPose في تعلم كيفية إنشاء أوضاع بشرية ثلاثية أبعاد اصطناعية من مجموعة بيانات الهدف بينما يتم تدريبه فقط على أوضاع ثنائية الأبعاد. في التجارب التي أجريت على مجموعات بيانات Human3.6M، MPI-INF-3DHP، 3DPW، وSki-Pose، أظهرت طرقتنا تفوقًا بنسبة 14% على الأعمال السابقة في تقييمات بين المجموعات البيانات وتفوقًا بنسبة 16% على طرق التعلم شبه الإشرافية التي تستعمل بعض العلامات الثلاثية الأبعاد.