OpenPose: تقدير وضعية متعددة الأشخاص في الوقت الحقيقي باستخدام حقول الارتباط الجزئي

التقدير الفوري للوضعية ثنائية الأبعاد لعدة أشخاص هو مكون رئيسي في تمكين الآلات من فهم الأشخاص في الصور والفيديوهات. في هذا البحث، نقدم طريقة فورية لاكتشاف الوضعية ثنائية الأبعاد لعدة أشخاص في صورة. الطريقة المقترحة تستخدم تمثيلًا غير معلمي، والذي نطلق عليه حقول التآلف الجزئي (Part Affinity Fields - PAFs)، لتعلم ربط أجزاء الجسم بالأشخاص في الصورة. يحقق هذا النظام من الأسفل إلى الأعلى دقة عالية وأداءً فوريًا، بغض النظر عن عدد الأشخاص في الصورة. وفي الأعمال السابقة، تم تحسين حقول التآلف الجزئي وتقدير موقع أجزاء الجسم بشكل متزامن عبر مراحل التدريب. نوضح أن تحسين حقول التآلف الجزئي فقط بدلاً من تحسين كل من حقول التآلف الجزئي وموقع أجزاء الجسم يؤدي إلى زيادة كبيرة في كفاءة التشغيل والدقة. كما نقدم أول كاشف مركب لنقاط المفتاح للجسم والأقدام، مستندًا إلى مجموعة بيانات داخلية مشمولة بالملاحظات للأقدام والتي قدمناها للجمهور. نبين أن الكاشف المركب ليس فقط يقلل من وقت الاستدلال مقارنة بتشغيلهما بالتتابع، بل يحافظ أيضًا على دقة كل مكون على حدة. قد انتهى هذا العمل بإصدار OpenPose، وهو أول نظام مصدر مفتوح فوري لاكتشاف وضعية عدة أشخاص ثنائية الأبعاد، بما في ذلك نقاط المفتاح للجسم والأقدام واليدين والوجه.