Refign: محاذاة وتحسين لتكيف التجزئة الدلالية مع الظروف الصعبة

نظرًا لقلة التسميات الدقيقة على مستوى البكسلات ذات المعنى للصور المسجلة في ظروف بصرية غير مواتية، ظهر اهتمام كبير بتمثيل التكييف دون إشراف (UDA) للتصنيف الدلالي للصور في هذه الظروف. يهدف UDA إلى تكييف النماذج المدربة في الظروف الطبيعية لتناسب البيئات المستهدفة ذات الظروف غير المواتية. في الوقت نفسه، توفر العديد من المجموعات البيانات التي تحتوي على مشاهد قيادة صورًا مماثلة لنفس المشاهد عبر ظروف متعددة، والتي يمكن أن تُستخدم كشكل من أشكال الإشراف الضعيف لتكييف المجال. نقترح "Refign"، امتدادًا عامًا للطرق القائمة على التدريب الذاتي في UDA، والذي يستفيد من هذه الت corresponدنس عبر المجالات. يتكون Refign من خطوتين: (1) محاذاة الصورة في الظروف الطبيعية مع الصورة المقابلة في الظروف غير المواتية باستخدام شبكة مطابقة كثيفة تأخذ بعين الاعتبار عدم اليقين، و(2) تحسين التنبؤ بالظروف غير المواتية باستخدام التنبؤ بالظروف الطبيعية من خلال آلية تصحيح تلقائية للوسوم. قمنا بتصميم وحدات مخصصة لتبسيط كلا الخطوتين، وحققنا أداءً جديدًا على مستوى الحد الأقصى في مجال التصنيف الدلالي التكييفي للمجالات على عدة معايير للظروف غير المواتية، بما في ذلك ACDC وDark Zurich. يُعد هذا النهج خاليًا من أي معاملات تدريب إضافية، ويُنتج حملًا حسابيًا ضئيلًا — فقط أثناء التدريب — ويمكن استخدامه كامتداد مباشر لتحسين أي طريقة قائمة على التدريب الذاتي في UDA. يمكن الوصول إلى الكود من خلال الرابط: https://github.com/brdav/refign.