التكيف النموذجي المقارن لمقاومة التغيرات الشروطية في التجزئة الدلالية

تُعد الطرق القياسية للتكيف غير المراقب بين المجالات (Unsupervised Domain Adaptation) طريقة تُعدّل النماذج من مجال مصدر إلى مجال هدف باستخدام بيانات المصدر المُعلَّمة وبيانات الهدف غير المُعلَّمة معًا. أما في تكييف النموذج، فعلى العكس، يُمنع الوصول إلى بيانات المصدر المُعلَّمة، أي أن المُعطيات المتاحة تقتصر على النموذج المدرّب على المصدر وبيانات الهدف غير المُعلَّمة فقط. نُجري دراسة لتكيف النموذج من الحالة الطبيعية إلى الحالة العكسية في مهام التجزئة الدلالية (Semantic Segmentation)، حيث تتوفر تطابقات على مستوى الصورة في مجال الهدف. يتكون مجموعة الهدف من أزواج غير مُعلَّمة من صور الطرق في الحالتين العكسية والطبيعية، والتي تم التقاطها في مواقع مطابقة من حيث الموقع الجغرافي (GPS). تُعدّ طريقة CMA التي نقترحها تُستفيد من هذه الأزواج الصورية لتعلم ميزات غير تعتمد على الحالة (Condition-invariant Features) من خلال التعلم المُقارن (Contrastive Learning). وبشكل خاص، تُشجع CMA على تجميع الميزات في فضاء التضمين وفقًا لمحتواها الدلالي غير المُتأثر بالحالة، وليس وفقًا للحالة التي تم التقاط الصورة فيها. ولتحقيق تطابقات دلالية دقيقة عبر المجالات، نقوم بتحويل الصورة الطبيعية إلى منظور الصورة العكسية، ونستخدم مقاييس الثقة في التحويل (warp-confidence scores) لتكوين ميزات مجمعة قوية. وباستخدام هذا النهج، نحقق أداءً متميزًا في التجزئة الدلالية لتكيف النموذج على عدة معايير تكييف من الحالة الطبيعية إلى العكسية، مثل معيار ACDC وDark Zurich. كما قمنا بتقييم CMA على معيار جديد تم جمعه لاختبار التعميم في الحالة العكسية، ونُقدم نتائج مُرضية مقارنة بالطرق القياسية لتكييف المجال غير المراقب، بالرغم من العائق النسبي الذي تواجهه CMA بسبب عدم إمكانية الوصول إلى بيانات المصدر. يمكن الوصول إلى الكود عبر الرابط التالي: https://github.com/brdav/cma.