التقدير المشترك لموقف الأشخاص المتعددين وتقسيم الأجزاء الدلالية

تقدير وضع الإنسان وتقسيم الأجزاء الدلالية هما مهمتان مكملتان في رؤية الحاسوب. في هذا البحث، نقترح حل هاتين المهمتين معًا لصور متعددة الأشخاص بشكل طبيعي، حيث يوفر الوضع المقدر سابقة شكل على مستوى الكائن لتنظيم قطع الأجزاء بينما تقيّد قطع الأجزاء على مستوى الجزء التغيرات في مواقع الوضع. تحديدًا، نقوم أولاً بتدريب شبكتين عصبيتين تمامًا بالتشابك (FCNs)، وهما Pose FCN وPart FCN، لتوفير تقدير أولي للإمكانات المشتركة للوضع والإمكانات الدلالية للأجزاء. ثم، لتحسين موقع مفصل الوضع، يتم دمج نوعي الإمكانات باستخدام حقل عشوائي مشروط تمامًا بالتشابك (FCRF)، حيث يتم استخدام حدس جديد للسلاسة بين القطعة والمفصل لتشجيع التجانس الدلالي والفراغي بين الأجزاء والمفاصل. لتحسين قطع الأجزاء، يتم دمج الوضع المحسن والإمكانات الأولية للأجزاء من خلال Part FCN، حيث تعمل خاصية الهيكل العظمي من الوضع كدلائل تنظيم إضافية لقطع الأجزاء. أخيرًا، لتقليل تعقيد FCRF، نقوم بإثارة صناديق اكتشاف الإنسان ونستنتج الرسم البياني داخل كل صندوق، مما يجعل الاستنتاج أسرع بأربعين مرة.نظرًا لعدم وجود مجموعة بيانات تحتوي على كل من قطع الأجزاء ومعرفة وضع الإنسان، فقد قمنا بتوسيع مجموعة بيانات أجزاء PASCAL VOC بإضافة مفاصل وضع الإنسان وأجرينا تجارب واسعة النطاق للمقارنة بين طريقتنا وعدة استراتيجيات حديثة جدًا. نظهر أن خوارزميتنا في هذه المجموعة البيانات تتفوق على الأساليب المنافسة بمقدار كبير في كلا المهمتين.