التعلم التفاعلي للخصائص الداخلية والخارجية للفهم الدلالي على مدار اليوم

تتغير مظهر المشهد بشكل كبير طوال اليوم. تركز الطرق الحالية لتقسيم المعاني بشكل رئيسي على سيناريوهات النهار المضيئة جيدًا، ولا تمتص بشكل جيد التغيرات الكبيرة في المظهر. لا يحل استخدام التكييف النطاقي بشكل بسيط هذه المشكلة، لأنه غالبًا ما يتعلم تطابقًا ثابتًا بين المجال المصدر والمجال الهدف، وبالتالي يكون لديه قدرة تعميم محدودة على السيناريوهات طوال اليوم (أي من الفجر إلى الليل).في هذه الورقة، على عكس الطرق الحالية، نعالج هذه التحديات من منظور تكوين الصورة نفسه، حيث يُحدد مظهر الصورة بواسطة خصائص داخلية (مثل الفئة المعنوية والهيكل) وخارجية (مثل الإضاءة). لتحقيق ذلك، نقترح استراتيجية تعلم متفاعلة بين الخاصيتين الداخلية والخارجية. الفكرة الأساسية هي إقامة تفاعل بين تمثيلات الخاصيتين الداخلية والخارجية أثناء عملية التعلم، مع توجيه فراغي (spatial-wise). وبهذا، تصبح التمثيلات الداخلية أكثر استقرارًا، في الوقت الذي تتحسن فيه التمثيلات الخارجية في وصف التغيرات. نتيجة لذلك، يصبح التمثيل المُحسَّن للصورة أكثر مقاومة لتقديم تنبؤات دقيقة على مستوى البكسل لجميع السيناريوهات طوال اليوم. ولتحقيق ذلك، نقترح شبكة تقسيم شاملة (AO-SegNet) بطريقة نهاية إلى نهاية.أُجريت تجارب واسعة النطاق على ثلاث مجموعات بيانات حقيقية (Mapillary، BDD100K، وACDC) ومجموعة بيانات اصطناعية جديدة نقترحها تُسمى CityScapes طوال اليوم. تُظهر AO-SegNet المقترحة تحسنًا كبيرًا في الأداء مقارنة بالطرق الرائدة في مجالها، على مجموعة متنوعة من الهياكل العميقة (CNN وViT) في جميع مجموعات البيانات.