التعميم من خلال التكيّف: تمديد المجال القائم على الانتشار للتحليل الدلالي العام للمجال

عند تطبيق النماذج، مثل نماذج التجزئة الدلالية، على صور تختلف بشكل كبير عن بيانات التدريب، تنخفض الأداء بشكل كبير. تسعى أساليب التكيّف بين المجالات إلى التغلب على هذه المشكلة، لكنها تتطلب عينات من المجال الهدف. ومع ذلك، قد لا يكون ذلك ممكنًا دائمًا لأسباب مختلفة، وبالتالي تكون أساليب التعميم بين المجالات مفيدة لأنها لا تتطلب أي بيانات حقيقية من المجال الهدف. نقدم طريقة جديدة تُسمى تمديد المجال القائم على التشتت (DIDEX) وتستخدم نموذجًا تشتتيًا لإنشاء مجال هدف افتراضي متنوع باستخدام مجموعة متنوعة من المطالبات النصية. على عكس الأساليب الحالية، تتيح هذه الطريقة التحكم في الأسلوب والمحتوى للصور المولدة، كما تسمح بإدخال تنوع عالٍ. في الخطوة الثانية، ندرّب نموذجًا عامًا من خلال تكييفه نحو هذا المجال الهدف الافتراضي. ونتفوق على الطرق السابقة بفارق كبير عبر مجموعة متنوعة من المجموعات والبنية المعمارية دون استخدام أي بيانات حقيقية. ونُحسّن أداء المقياس المعياري المتوسط لمؤشر التوافقي (mIoU) بنسبة 3.8% مطلقة في المتوسط عند التعميم من مصدر GTA5، وبنسبة 11.8% مطلقة عند التعميم من مصدر SYNTHIA، مما يُمثل خطوة كبيرة في تحسين الأداء على هذه المعايير. يمكن الوصول إلى الكود من خلال الرابط: https://github.com/JNiemeijer/DIDEX