ما الذي يوجد في الظلام

تحليل المشهد يُعد عنصرًا مهمًا في أنظمة القيادة الذاتية الحديثة. وتركز معظم الدراسات في التجزئة الدلالية على مشاهد النهار تحت ظروف جوية وإضاءة مواتية. في هذه الورقة، نقترح بنية عميقة جديدة تُسمى NiSeNet، تقوم بإجراء التجزئة الدلالية للمناظر الليلية باستخدام نهج خريطة المجال بين البيانات الاصطناعية والواقعية. إنها شبكة ثنائية القناة، حيث صممنا قناة "حقيقية" باستخدام DeepLabV3+ مزودة بخسارة MSE للحفاظ على المعلومات المكانية. بالإضافة إلى ذلك، استخدمنا قناة "تكيفية" لتقليل الفجوة بين الصور الاصطناعية والواقعية في الليل، والتي تُكمّل أيضًا الأخطاء الناتجة عن مخرجات القناة الحقيقية. إلى جانب البنية الثنائية القنوات، قدمنا خطة دمج مبتكرة لدمج مخرجات القناتين. علاوة على ذلك، قمنا بإعداد مجموعة بيانات جديدة تُسمى "مجموعة بيانات القيادة الليلية الحضرية" (UNDD)، وتضم 7125 صورة يومية وليلية غير مُعلّمة، بالإضافة إلى 75 صورة ليلية مُعلّمة بدقة بيكسلية، وتحتوي على فئات مكافئة لمجموعة بيانات Cityscapes. قُمنا بتقييم منهجنا على مجموعة بيانات Berkley Deep Drive، ومجموعة بيانات Mapillary الصعبة، ومجموعة بيانات UNDD، وأظهرنا أن الطريقة المقترحة تتفوق على التقنيات الرائدة في مجال الدقة وجودة الصورة البصرية.