التحليل الضعيف والشبه مشرف للجزء البشري من الجسم عبر نقل المعرفة بارتباط الوضعية

تحليل أجزاء الجسم البشري، أو تقسيم الأجزاء الدلالية للإنسان، هو من الأساسيات في العديد من مهام الرؤية الحاسوبية. في الطرق التقليدية لتقسيم المعنى، يتم تقديم التجزئات الحقيقية (البيانات الأرضية) وتدريب الشبكات العصبية المكتملة التحويل (FCN) بخطة شاملة من النهاية إلى النهاية. رغم أن هذه الطرق قد أظهرت نتائج مثيرة للإعجاب، إلا أن أدائها يعتمد بشكل كبير على كمية وجودة البيانات التدريبية. في هذا البحث، نقدم طريقة جديدة لإنشاء بيانات تقسيم أجزاء الجسم البشري الصناعية باستخدام شروح نقاط المفتاح البشرية التي يمكن الحصول عليها بسهولة. الفكرة الرئيسية لدينا هي استغلال التشابه التشريحي بين البشر لنقل نتائج تحليل شخص إلى شخص آخر ذو وضع مشابه. باستخدام هذه النتائج المقدرة كبيانات تدريب إضافية، فإن نموذجنا شبه المنظور يتفوق على نظيره المنظور القوي بمقدار 6 نقطة مئوية من معامل تقاطع فوق الاتحاد (mIOU) على مجموعة بيانات PASCAL-Person-Part، وقد حققنا أفضل النتائج الحالية في تحليل الإنسان. يمكن تطبيق طريقتنا بشكل عام ويمكن توسيعها بسهولة إلى مهام تقسيم الكائنات الأخرى / الحيوانات بفرض أن التشابه التشريحي الخاص بهم يمكن شرحه بواسطة نقاط المفتاح. النموذج المقترح والكود المصدر المرافق متوفرون على https://github.com/MVIG-SJTU/WSHP