أساس قوي للتقسيم الدلالي القليل الإشراف العام

يقدم هذا البحث إطارًا عامًا للتقسيم بقليل من العينات (Few-Shot Segmentation) يتميز بعملية تدريب مباشرة ومرحلة استدلال سهلة التحسين. بشكل خاص، نقترح نموذجًا بسيطًا ومعتدل الفعالية يستند إلى المبدأ المعروف بمبدأ InfoMax، حيث يتم تعظيم المعلومات المتبادلة (Mutual Information - MI) بين التمثيلات الخصائص التي تم تعلمها والتوقعات المرتبطة بها. بالإضافة إلى ذلك، يتم ربط المصطلحات المستخلصة من صيغتنا القائمة على MI بمصطلح تقليص المعرفة (Knowledge Distillation) للاحتفاظ بالمعرفة المتعلقة بالفئات الأساسية. وبفضل عملية تدريب بسيطة، يمكن تطبيق نموذج الاستدلال الخاص بنا فوق أي شبكة تقسيم تم تدريبها على الفئات الأساسية. يحقق الإستدلال المقترح تحسينات كبيرة في مقاييس التقسيم بقليل من العينات الشهيرة مثل PASCAL-$5^i$ و COCO-$20^i$. بالنسبة للفئات الجديدة، تتراوح مكاسب التحسين بين 7% و 26% (PASCAL-$5^i$) وبين 3% و 12% (COCO-$20^i$) في سيناريوهات الـ 1-shot والـ 5-shot على التوالي. علاوة على ذلك، نقترح إعدادًا أكثر تحديًا، حيث تتزايد الفجوات في الأداء. الرمز البرمجي الخاص بنا متاح بشكل عام على الرابط https://github.com/sinahmr/DIaM.