التعلم المكمل عبر المجالات باستخدام الوضع للتمييز بين أجزاء الأشخاص المتعددين

حققت التعلم العميق المشرف عليه باستخدام تسميات التدريب على مستوى البكسل نجاحات كبيرة في تقسيم أجزاء الأشخاص المتعددين. ومع ذلك، فإن تسمية البيانات على مستوى البكسل تكون باهظة الثمن للغاية. لحل هذه المشكلة، بدأ الباحثون يستكشفون استخدام البيانات الاصطناعية لتجنب تسمية البيانات. رغم سهولة إنشاء التسميات للبيانات الاصطناعية، إلا أن النتائج تكون أسوأ بكثير مقارنة بتلك التي يتم الحصول عليها باستخدام البيانات الحقيقية والتسمية اليدوية. يعود سبب انخفاض الأداء بشكل رئيسي إلى الفجوة بين المجالات، أي الاختلاف في إحصائيات قيمة البكسل بين البيانات الحقيقية والاصطناعية.في هذا البحث، لوحظ أن الأشخاص الحقيقيين والاصطناعيين لديهم تمثيل عظمي (وضع). وجدنا أن العظام يمكنها أن تربط بشكل فعال بين المجالات الاصطناعية والحقيقية أثناء التدريب. يستفيد نهجنا المقترح من التنوع الغني والواقعي للبيانات الحقيقية ومن التسميات السهلة الحصول عليها للبيانات الاصطناعية لتعلم تقسيم أجزاء الأشخاص المتعددين على الصور الحقيقية دون الحاجة لأي تسميات يدوية من البشر. من خلال التجارب، أظهرنا أنه بدون أي تسميات يدوية من البشر، طريقتنا تعمل بشكل مparable مع العديد من الأساليب الرائدة التي تتطلب تسميات يدوية من البشر في مجموعتي بيانات Pascal-Person-Parts و COCO-DensePose. من الجانب الآخر، إذا كانت تسميات الأجزاء متاحة أيضًا في الصور الحقيقية أثناء التدريب، فإن طريقتنا تتفوق بفارق كبير على الأساليب الرائدة المشرفة.لقد أثبتنا أيضًا قابلية عامليتنا للتطبيق في التنبؤ بالنقاط الرئيسية الجديدة في الصور الحقيقية حيث لا تكون هناك أي تسميات حقيقية متاحة لاكتشاف النقاط الرئيسية الجديدة. يمكن الوصول إلى الكود والموديلات المدربة مسبقًا عبر الرابط: https://github.com/kevinlin311tw/CDCL-human-part-segmentation