رؤية أوضح في الليل: نحو تجزئة معنوية ليلية قوية من خلال تحويل الصور من النهار إلى الليل

في الوقت الحاضر، تظهر تقنية التجزئة الدلالية كفاءة وموثوقية ملحوظتين في السيناريوهات القياسية مثل مشاهد النهار بظروف إضاءة مثالية. ومع ذلك، في ظل الظروف السيئة مثل الليل، تتراجع دقة التجزئة الدلالية بشكل كبير. أحد الأسباب الرئيسية لهذه المشكلة هو نقص البيانات المُشَرَّحة والمُعَنَّاة بكفاية لمشاهد الليل. في هذا البحث، نقترح إطارًا لتعويض انخفاض الدقة عند تطبيق التجزئة الدلالية في الظروف السيئة باستخدام شبكات المولدات المعادية (Generative Adversarial Networks - GANs). لربط مجالات الصور بين النهار والليل، أجرينا ملاحظة رئيسية وهي أن هناك كمية كبيرة من بيانات التجزئة المتاحة في الظروف القياسية مثل BDD ومجموعات البيانات التي جمعناها من جامعة زجيانغ (ZJU)، بالمقارنة مع البيانات الموجودة في الظروف السيئة. يتضمن الإطار المقترح للتجزئة الدلالية الليلية القائم على GANs طريقتين:في الطريقة الأولى، تم استخدام GANs لتحويل صور الليل إلى صور النهار، مما يسمح بتنفيذ التجزئة الدلالية باستخدام النماذج القوية التي تم تدريبها بالفعل على بيانات النهار.وفي الطريقة الثانية، استخدمنا GANs لتحويل نسب مختلفة من صور النهار في مجموعة البيانات إلى صور الليل مع الحفاظ على علاماتها. بهذه الطريقة، يمكن إنشاء مجموعات بيانات تجزئة ليلية اصطناعية لتوليد نماذج قادرة على العمل بشكل قوي تحت ظروف الليل.في تجاربنا، أثبتت الطريقة الثانية زيادة كبيرة في الأداء خلال الليل، كما أظهرت النتائج الكمية باستخدام مؤشر التقاطع على الاتحاد (Intersection over Union - IoU) ودقة البكسل (Pixel Accuracy - Acc). وقد أظهرنا أن الأداء يختلف حسب نسبة الصور الليلية الاصطناعية في مجموعة البيانات، حيث يتوافق أفضل الأداء مع أعلى درجة من المتانة طوال اليوم والليل.