السيارات لا يمكنها الطيران في السماء: تحسين التجزئة في المشاهد الحضرية من خلال شبكات الانتباه الموجهة بالارتفاع

يستغل هذا البحث الخصائص الطبيعية للصور المُصوّرة لمشهد المدينة، ويوصي بوحدة إضافية عامة تُسمّى شبكات الانتباه المُحَفّزة بالارتفاع (HANet)، بهدف تحسين تقسيم الدلالة (semantic segmentation) للصور التي تُصوّر مشاهد مدنية. يركّز هذا النموذج على السمات أو الفئات المُفيدة بشكل انتقائي وفقًا للموقع الرأسي للبكسل. تختلف توزيعات الفئات لكل بكسل بشكل كبير بين الأقسام الأفقية المُقسّمة في صور مشهد المدينة. وبالمثل، تمتلك صور مشهد المدينة خصائص مميزة خاصة بها، لكن معظم نماذج تقسيم الدلالة لا تعكس هذه السمات الفريدة في بنية النموذج. ويُدمج في الهيكل المُقترح قدرة استغلال هذه السمات لمعالجة مجموعة بيانات مشهد المدينة بشكل فعّال. وقد قمنا بتوثيق زيادة مستمرة في الأداء (mIoU) لعدة نماذج تقسيم دلالة على مجموعتين بيانات مختلفتين عند استخدام HANet. وتُظهر هذه التحليلات الكمية الواسعة أن إضافة وحدتنا إلى النماذج الحالية أمر سهل وفعال من حيث التكلفة. وتحقيق أداءً جديدًا في مستوى الحد الأقصى من الأداء (state-of-the-art) على معيار Cityscapes، بفارق كبير مقارنةً بالنماذج القائمة على ResNet-101. كما نُظهر أن النموذج المقترح يتماشى مع الحقائق الملاحظة في مشهد المدينة من خلال تصور وتحليل خريطة الانتباه. يُمكن الوصول إلى الكود والنماذج المدربة بشكل عام عبر الرابط التالي: https://github.com/shachoi/HANet