التحليل المشترك للقسمة الدلالية وكشف الحدود باستخدام السياقات الهرمية التكرارية

في هذه الورقة، نقدم إطارًا تعلمًا متعدد المهام المشترك للفصل الدلالي وتحديد الحدود. ويتمثل العنصر الأساسي في هذا الإطار في وحدة المحتوى الهرمي التكراري (PCM)، التي تربط بين المهمتين وتخزن المعاني المخفية المشتركة لتمكين التفاعل بين المهمتين. وبالنسبة لتحديد حدود الدلالة، نقترح تقنية جديدة تُعرف بدمج التدرج المكاني لتقليل الحواف غير الدلالية. وبما أن تحديد حدود الدلالة يُعد المهمة المزدوجة للفصل الدلالي، فإننا نُقدّم دالة خسارة تحتوي على قيد اتساق الحدود لتحسين دقة بكسلات الحدود في الفصل الدلالي. وتُظهر تجاربنا الواسعة أداءً متفوقًا مقارنة بالأساليب الحالية في الذروة، ليس فقط في الفصل الدلالي، بل أيضًا في تحديد حدود الدلالة. وتحديدًا، تم تحقيق معدل IoU متوسط قدره 81.8٪ على مجموعة اختبار Cityscapes دون استخدام بيانات خشنة أو أي بيانات خارجية للفصل الدلالي. أما في مجال تحديد حدود الدلالة، فقد تحسّن الأداء مقارنة بالأساليب السابقة في الذروة بنسبة 9.9٪ من حيث AP وبنسبة 6.8٪ من حيث MF(ODS).