تقدير الوضع المفصل بواسطة نموذج رسومي مع علاقات زوجية تعتمد على الصورة

نقدم طريقة لتقدير وضعية الجسم البشرية المفصلية من صورة ثابتة واحدة تعتمد على نموذج رسومي مع علاقات ثنائية جديدة تستخدم بشكل متكيف قياسات الصورة المحلية. وبشكل أكثر دقة، نحدد نموذجًا رسوميًا لوضعية الجسم البشرية يستغل حقيقة أن القياسات المحلية للصورة يمكن استخدامها لكشف الأجزاء (أو المفاصل) وكذلك التنبؤ بالعلاقات المكانية بينها (العلاقات الثنائية المعتمدة على الصورة). يتم تمثيل هذه العلاقات المكانية بواسطة نموذج مختلط. نستخدم شبكات العصبونات العميقة المتلافهة (DCNNs) لتعلم الاحتمالات الشرطية لوجود الأجزاء وعلاقاتها المكانية داخل بقع الصور. وبالتالي، يجمع نموذجنا بين مرونة التمثيل في النماذج الرسومية وكفاءة القوة الإحصائية للشبكات العصبونات العميقة المتلافهة. تتفوق طرقتنا بشكل كبير على أفضل الطرق الحالية في مجموعتي البيانات LSP و FLIC، كما أنها تؤدي بشكل جيد للغاية في مجموعة بيانات Buffy دون أي تدريب.