فهم دقيق للدلالات لمشاهد جوية من خلال SkyScapes

فهم البنية التحتية الحضرية المعقدة بدقة تصل إلى سنتيمترات هو أمر ضروري لعدد كبير من التطبيقات، بدءًا من القيادة الذاتية ورسم الخرائط، ورصد البنية التحتية، و إدارة المدن. توفر الصور الجوية معلومات قيمة على نطاق واسع بشكل فوري؛ ومع ذلك، لا يزال لا يوجد أي مجموعة بيانات حالية تُسجّل تعقيد مشاهد الصور الجوية على المستوى الدقيق المطلوب من قبل التطبيقات الواقعية. ولحل هذه المشكلة، نقدّم "سكاي سكيبس" (SkyScapes)، وهي مجموعة بيانات صور جوية مُعلّمة بدقة عالية وبنسق تفصيلي دقيق لتصنيف معاني البكسلات. تقدم "سكاي سكيبس" تسميات لـ 31 فئة معنوية تتراوح بين الهياكل الكبيرة مثل المباني والطرق والنباتات، إلى التفاصيل الدقيقة مثل 12 فئة (فرعية) من علامات الطرق. وقد حددنا مهامتين رئيسيتين على هذه المجموعة: التصنيف المعنوي الكثيف (Dense Semantic Segmentation) وتنبؤ علامات الطرق متعددة الفئات. قمنا بإجراء تجارب واسعة لتقييم أساليب التصنيف الأحدث على "سكاي سكيبس". وتبين أن الأساليب الحالية تواجه صعوبات في التعامل مع التنوع الكبير في الفئات، وأحجام الكائنات، والمقياس، والتفاصيل الدقيقة. ولذلك، نقترح نموذجًا متعدد المهام جديدًا، يدمج كشف الحواف المعنوية، ويُعدّ أفضل لاستخلاص الميزات من مقياس واسع. وحقق هذا النموذج تحسنًا ملحوظًا مقارنةً بالأساليب الأساسية من حيث دقة حدود المناطق ومستوى التفاصيل في كلا المهمتين.