تقدير وضعية الإنسان من خلال الانحدار الحراري للجزء باستخدام الشبكات العصبية التلافيفية

هذا البحث يتعلق بتقدير وضع الإنسان باستخدام شبكات العصبونات المتلافهة (Convolutional Neural Networks). المساهمة الرئيسية لدينا هي هندسة متسلسلة لشبكة العصبونات المتلافهة مصممة خصيصًا لتعلم علاقات الأجزاء والسياق المكاني، وتقدير الوضع بشكل قوي حتى في حالة التغطية الشديدة للأجزاء. لهذا الغرض، نقترح متسلسلة شبكة عصبونات متلافهة تعتمد على الكشف أولاً ثم التنظيم. الجزء الأول من متسلسلتنا ينتج خرائط حرارية لكشف الأجزاء، والجزء الثاني يقوم بتنظيم هذه الخرائط الحرارية. فوائد الهندسة المقترحة متعددة: فهي توجه الشبكة إلى المناطق التي يجب التركيز عليها في الصورة وتقوم بتشفير قيود الأجزاء والسياق بكفاءة. وأهم من ذلك، أنها يمكن أن تتعامل مع التغطيات بشكل فعال لأن خرائط الحرارة الخاصة بالأجزاء المغطاة توفر درجات ثقة منخفضة والتي بدورها توجه جزء التنظيم في شبكتنا إلى الاعتماد على المعلومات السياقية للتنبؤ بمواقع هذه الأجزاء. بالإضافة إلى ذلك، نوضح أن المتسلسلة المقترحة مرنة بما يكفي لتسمح بدمج العديد من هندسات شبكات العصبونات المتلافهة للكشف والتنظيم، بما في ذلك تلك المستندة إلى التعلم المتبقي (residual learning) مؤخرًا. أخيرًا، نبين أن متسلسلتنا تحقق أفضل الأداء على مجموعات البيانات MPII وLSP. يمكن تنزيل الرمز البرمجي من http://www.cs.nott.ac.uk/~psxab5/