AutoLink: التعلم ذاتي الإشراف للهيكل العظمي البشري وخطوط الأشياء من خلال ربط النقاط الرئيسية

التمثيلات المهيكلة مثل النقاط الرئيسية (keypoints) تُستخدم على نطاق واسع في نقل الوضع (pose transfer)، وإنشاء الصور المشروطة (conditional image generation)، والرسوم المتحركة (animation)، وإعادة بناء ثلاثي الأبعاد (3D reconstruction). ومع ذلك، يتطلب التعلم الإشرافي لهذه التمثيلات توضيحًا مكلفًا لكل مجال مستهدف. نقترح طريقة ذاتية الإشراف تتعلم فصل هيكل الكائن عن مظهره باستخدام رسم بياني للنقاط الرئيسية ثنائية الأبعاد المرتبطة بحافات مستقيمة. يتم تعلم موقع النقطة الرئيسية وأوزان الحافات الزوجية بينها، مع إعطاء مجموعة من الصور التي تصور نفس فئة الكائن فقط. يكون الرسم البياني الناتج قابلاً للتفسير، على سبيل المثال، يعيد AutoLink استرداد طوبولوجيا الهيكل العظمي البشري عند تطبيقه على صور تعرض الأشخاص. مكوناتنا الأساسية هي: i) كودر يتنبأ بمواقع النقاط الرئيسية في صورة الإدخال، ii) رسم بياني مشترك كمتغير خفي يربط نفس أزواج النقاط الرئيسية في كل صورة، iii) خريطة حافة وسيطة تجمع أوزان حافات الرسم البياني الخفي ومواقع النقاط الرئيسية بطريقة ناعمة وقابلة للمفاضلة (differentiable)، وiv) هدف إعادة الرسم على الصور المقنعة عشوائيًا. رغم بساطتها، فإن AutoLink تتفوق على الأساليب الذاتية الإشراف الموجودة في مقاييس التقدير التقليدية للنقاط الرئيسية والوضع، وتفتح الطريق لنموذج جينراتيف مشروط بالهيكل على مجموعات بيانات أكثر تنوعًا. موقع المشروع: https://xingzhehe.github.io/autolink/.