سيغسورت: التجزئة من خلال الترتيب التمييزي للقطع

تعتبر معظم الطرق الحالية في التعلم العميق للتصنيف الدلالي (semantic segmentation) هذه المهمة مشكلة تصنيف على مستوى البكسل. ومع ذلك، لا يفهم البشر المشهد من حيث البكسلات، بل من خلال تفكيكه إلى مجموعات إدراكية وهيكلية تمثل الوحدات الأساسية للتعرف. وهذا يُحفّزنا على اقتراح نهج تعلّم مترّي (metric learning) من الطرف إلى الطرف (end-to-end) على مستوى البكسلات، يُحاكي هذه العملية. في نهجنا، يُحدد التمثيل البصري الأمثل التجزئة الصحيحة داخل كل صورة، ويُرتب بين الأجزاء ذات الفئة الدلالية نفسها عبر الصور المختلفة. وبالتالي، يصبح المشكلة الأساسية في التعلّم البصري هي تكبير التشابه داخل الأجزاء وتقليل التشابه بينها. وباستخدام نموذج تم تدريبه بهذه الطريقة، يتم إجراء الاستنتاج بشكل متسق من خلال استخراج تمثيلات البكسلات وتصنيفها باستخدام تقنيات التجميع (clustering)، حيث تُحدد العلامة الدلالية من خلال التصويت الأغلبية لجيرانها الأقرب من مجموعة مُعلّمة.نتيجة لذلك، نقدّم "سيغسارت" (SegSort) كمُبادرة أولى تستخدم التعلم العميق للتصنيف الدلالي غير المُراقب، وتُحقق أداءً يبلغ 76% من نموذجها المُراقب. وعند توفر الإشراف، تُظهر سيغسارت تحسينات مستمرة مقارنة بالطرق التقليدية القائمة على تدريب دالة الـ softmax على مستوى البكسلات. بالإضافة إلى ذلك، يُنتج نهجنا حدودًا أكثر دقة وتوقعات مناطق متسقة. كما يُنتج سيغسارت نتائج قابلة للتفسير، حيث يمكن فهم كل اختيار للعلامة بسهولة من خلال الأجزاء الأقرب التي تم استرجاعها.