التوافق المتسق من حيث المحتوى للتصنيف الدلالي المتكيف حسب المجال

تتناول هذه الورقة مشكلة تكييف التجزئة الدلالية من مجال مصدر اصطناعي إلى مجال مستهدف حقيقي. وعلى عكس معظم الدراسات السابقة التي تسعى غالبًا إلى تطوير حلول مبنية على التحدي العدائي لتوحيد المجالات، نتناول هذه المهمة الصعبة من منظور جديد، يُعرف بـ "التوافق المحتوي المتماسك" (CCM). ويتمثل الهدف من CCM في اكتشاف الصور الاصطناعية التي تمتلك توزيعًا مشابهًا لتلك الصور الحقيقية في المجال المستهدف، بحيث يمكن تقليل الفجوة بين المجالين بشكل طبيعي من خلال استخدام الصور الاصطناعية المتماسكة محتوىً في تدريب النموذج. وبشكل محدد، نُطبّق CCM من خلال جهتين رئيسيتين، وهما: التوافق في التخطيط الدلالي، والتوافق في التشابه البكسلية. أولاً، نستخدم جميع الصور الاصطناعية من المجال المصدر لتدريب نموذج تجزئة أولي، ثم نستخدم هذا النموذج لإنتاج تسميات خشنة على مستوى البكسل للصور غير المُعلّمة في المجال المستهدف. وباستخدام خ карات التسمية الخشنة/الدقيقة للصور الحقيقية/الاصطناعية، نُنشئ مصفوفات التخطيط الدلالي للصور من الناحيتين الأفقية والعمودية، ونُجري عملية مطابقة هذه المصفوفات للعثور على الصور الاصطناعية التي تمتلك تخطيطًا دلاليًا مشابهًا للصور الحقيقية. ثانيًا، نختار التسميات المُتنبأ بها ذات الثقة العالية لإنشاء تضمينات مميزة لكل فئة في المجال المستهدف، ثم نُجري مطابقة بكسلية على الصور الاصطناعية المُستخرجة ذات التخطيط المتماسك للحصول على بكسلات متماسكة من حيث المظهر. وباستخدام CCM المقترح، يتم أخذ فقط الصور الاصطناعية المتماسكة محتوىً في الاعتبار لتدريب نموذج التجزئة، مما يقلل بشكل فعّال من التحيز الناتج عن الصور الاصطناعية غير ذات الصلة بالمحتوى. أُجريت تجارب واسعة على مهام تكييف مجالين شهيرتين، وهما: GTA5 → Cityscapes وSYNTHIA → Cityscapes. أظهرت CCM تحسينات متسقة مقارنة بالأساليب الأساسية، وتفوقت على أحدث النماذج السابقة.