تعلم التجزئة العامة للمناظر الضبابية من خلال التوجيه الموجي ثنائي الاتجاه

إن تعلّم دلالة المشهد التي يمكن تعميمها بشكل جيد في الظروف الضبابية أمر بالغ الأهمية للتطبيقات الحاسمة بالنسبة للسلامة مثل القيادة الذاتية. تعتمد الطرق الحالية على صور واضحة مُعلَّمة وصور ضبابية مُعلَّمة لتدريب نموذج تكيّف مجالي مُدرَّس. لكن للأسف، لا يمكن لهذه الطرق التعميم إلا على المجال الضبابي المستهدف الذي شوهد خلال مرحلة التدريب، في حين أن المجالات الضبابية تختلف كثيرًا من حيث أنماط المشاهد الحضرية وأنماط الضباب. في هذا البحث، نقترح تعلّم تقسيم المشهد بشكل يُظهر تعميمًا جيدًا في المشاهد الضبابية ضمن إطار تعميم المجال، دون الحاجة إلى أي صور ضبابية خلال مرحلة التدريب، مما يسمح بالتعميم على أي مشهد ضبابي غير مرئي مسبقًا. نحن نرى أن النموذج المثالي لتقسيم المشهد الذي يمكن تعميمه بشكل جيد في المشاهد الضبابية يحتاج إلى تعزيز المحتوى في آنٍ واحد، وتقليل الارتباط بين أنماط المشهد الحضري، وتقليل الارتباط بين أنماط الضباب. وبما أن المحتوى (مثل الدلالة السياقية للمشهد) يتركز أكثر في المكونات ذات التردد المنخفض، بينما يتركز أسلوب المشهد الحضري والضباب في المكونات ذات التردد العالي، نقترح آلية توجيه موجي ثنائية الاتجاه (BWG) جديدة لتحقيق الأهداف الثلاثة السابقة بطريقة مقسّمة ومقنعة. وباستخدام تحويل موجة هار (Haar wavelet)، يتم تركيز المكون ذي التردد المنخفض على انتباه ذاتي مُحسّن للمحتوى، بينما يُحَوَّل المكون ذي التردد العالي إلى انتباه ذاتي للأسلوب والضباب، بهدف تقليل الارتباط. وتُدمج هذه الآلية في أنظمة تقسيم المشهد القائمة على نموذج Transformer على مستوى القناع بطريقة قابلة للتعلّم. أُجريت تجارب على نطاق واسع على أربع مجموعات بيانات لتقسيم المشاهد الضبابية تحت مجموعة متنوعة من الإعدادات المثيرة للاهتمام. وتبين أن الطريقة المقترحة تتفوّق بشكل كبير على الطرق الحالية التي تعتمد على التدريب المُوجَّه مباشرة، وتكيّف المجال التدريجي، وتعميم المجال. ومتاح الكود المصدري عبر الرابط: https://github.com/BiQiWHU/BWG.