التمييز غير المشرف للصور الشامل

تم اقتراح عدة نماذج لتقسيم الصور دون إشراف تهدف إلى القضاء على الحاجة إلى أقنعة تقسيم يدوية كثيفة؛ ومع ذلك، فإن النماذج الحالية تعالج بشكل منفصل إما التقسيم الدلالي (مثل STEGO) أو تقسيم الحالات غير المرتبط بالتصنيف (مثل CutLER)، ولكن ليس كلاهما معًا (أي التقسيم البانورامي). نقترح نموذج تقسيم شامل دون إشراف (U2Seg) قادر على تنفيذ مهام مختلفة لتقسيم الصور - الحالة، الدلالة والبانورام - باستخدام إطار عمل موحد جديد. يقوم U2Seg بإنشاء علامات دلالية وهمية لهذه المهام التقسيمية من خلال الاستفادة من النماذج ذاتية الإشراف تليها التجميع؛ حيث يمثل كل عنقود عضوية دلالية و/أو حالة مختلفة للبكسلات. ثم نقوم بتدريب النموذج ذاتيًا على هذه العلامات الدلالية الوهمية، مما يؤدي إلى زيادة كبيرة في الأداء مقارنة بالطرق المتخصصة المصممة لكل مهمة: زيادة قدرها +2.6 AP$^{\text{box}}$ مقابل CutLER في تقسيم الحالات دون إشراف على COCO وزيادة قدرها +7.0 في دقة البكسل (مقابل STEGO) في التقسيم الدلالي دون إشراف على COCOStuff. بالإضافة إلى ذلك، تحدد طريقتنا نقطة بداية جديدة لتقسيم الصور البانورامي دون إشراف، وهو مجال لم يتم استكشافه سابقًا. يعتبر U2Seg أيضًا نموذجًا مسبق التدريب قويًا للتقسيم بنقص البيانات، حيث يتفوق على CutLER بمقدار +5.0 AP$^{\text{mask}}$ عند التدريب في نظام بيانات منخفض، مثل استخدام 1% فقط من علامات COCO. نأمل أن يستلهم بحث أكثر حول التقسيم الشامل للصور دون إشراف من طريقتنا البسيطة ولكن الفعالة.