التحليل التجزئي العام للنطاق المستشعر للدلالات

النماذج العميقة التي تُدرَّب على المجال المصدري تعاني من ضعف القدرة على التعميم عند تقييمها على مجالات مستهدفة غير مرئية ذات توزيعات بيانات مختلفة. وتتفاقم هذه المشكلة بشكل كبير عندما لا يكون لدينا إمكانية الوصول إلى عينات من المجال المستهدف لغرض التكيّف. في هذه الورقة، نتناول مسألة التجزئة الدلالية العامة للمجالات، حيث يتم تدريب نموذج التجزئة ليكون مستقلًا عن المجال دون استخدام أي بيانات من المجال المستهدف. تعتمد الطرق الحالية لمعالجة هذه المشكلة على توحيد البيانات إلى توزيع موحد. ونُقدّم رأينا بأنّ هذا التوحيد، رغم أنه يعزز التطبيع العالمي، فإنه يؤدي إلى ميزات غير كافية التمييز لضمان حدود تجزئة واضحة. ولتعزيز الفصل بين الفئات في آنٍ واحد مع تعزيز الاستقلالية عن المجال، نقترح إطارًا يحتوي على وحدتين جديدتين: التطبيع المُوجّه بالدلالات (Semantic-Aware Normalization - SAN) والتطبيع المُوجّه بالدلالات (Semantic-Aware Whitening - SAW). بشكل خاص، تركز SAN على محاذاة مراكز الفئات بين الميزات المستمدة من أنماط صور مختلفة، بينما تفرض SAW محاذاة موزعة للميزات التي تم بالفعل محاذاة مراكزها. وباستخدام SAN وSAW، نشجع كلاً من الكثافة الداخلية داخل الفئة والانفصال بين الفئات. وقد قمنا بتأكيد أداء نهجنا من خلال تجارب واسعة النطاق على مجموعات بيانات شهيرة (مثل GTAV، SYNTHIA، Cityscapes، Mapillary، وBDDS). وتبين نتائجنا تحسينات كبيرة مقارنة بالأساليب الرائدة الحالية على مختلف الشبكات الأساسية. ويمكن الاطلاع على الكود عبر الرابط: https://github.com/leolyj/SAN-SAW