GuidedMix-Net: التعلّم من أجل تحسين الأقنعة الوهمية باستخدام الصور المُعلّمة كمرجع

التعلم شبه المراقب يُعد مشكلة صعبة تهدف إلى بناء نموذج من خلال التعلم من عدد محدود من الأمثلة المُصنفة. تم اقتراح العديد من الطرق لمعالجة هذه المشكلة، مع تركيز معظمها على استخدام اتساق تنبؤات الأمثلة غير المصنفة لتنظيم الشبكات. ومع ذلك، فإن التعامل مع البيانات المصنفة وغير المصنفة بشكل منفصل غالبًا ما يؤدي إلى إهمال المعرفة السابقة الواسعة التي تم اكتسابها من الأمثلة المصنفة، وعدم استغلال التفاعل بين السمات في أزواج الصور المصنفة وغير المصنفة. في هذه الورقة، نقترح طريقة جديدة للتصنيف الشمولي شبه المراقب تُسمى GuidedMix-Net، من خلال استغلال المعلومات المصنفة لتوجيه تعلم الأمثلة غير المصنفة. بشكل محدد، نُقدّم أولًا هدفًا لمحاذاة الميزات بين البيانات المصنفة وغير المصنفة للكشف عن أزواج صور محتملة الشبه، ثم نُولّد إدخالات مختلطة منها. كما يُظهر الانتقال المتبادل للمعلومات (MITrans)، القائم على افتراض التجميع، أنه وحدة معرفية قوية لتحسين تدريجي لسمات البيانات غير المصنفة في فضاء الإدخال المختلط. وللاستفادة من الأمثلة المصنفة وتوجيه تعلم البيانات غير المصنفة، نقترح أيضًا وحدة لتكوين الأقنعة لتوليد أقنعة افتراضية عالية الجودة للبيانات غير المصنفة. وبالإضافة إلى التعلم المراقب للبيانات المصنفة، يتم تعلم التنبؤات للبيانات غير المصنفة بشكل مشترك مع الأقنعة الافتراضية المُولَّدة من البيانات المختلطة. أظهرت التجارب الواسعة على مجموعات بيانات PASCAL VOC 2012 وPASCAL-Context وCityscapes فعالية نموذجنا GuidedMix-Net، حيث حقق دقة تصنيف تنافسية وحسّن بشكل ملحوظ مؤشر mIoU بنسبة +7% مقارنة بالأساليب السابقة الأكثر تطورًا.