التكيف بين المجالات متعدد المصادر مع التعلم التعاوني للتقسيم الدلالي

يهدف التكييف المتعدد المصادر غير المُعلَّم (MSDA) إلى تكييف النماذج المدربة على عدة مجالات مصدرية مُعلَّمة لتتناسب مع مجال مستهدف غير مُعلَّم. في هذه الورقة، نقترح إطارًا جديدًا لتكييف المجالات متعددة المصادر يعتمد على التعلم التعاوني للترميز الدلالي. أولاً، نُقدِّم طريقة بسيطة لتحويل الصور لمحاذاة توزيع قيم البكسل، مما يقلل من الفجوة بين المجالات المصدرية والمجال المستهدف إلى حدٍ ما. ثم، للاستفادة الكاملة من المعلومات الدلالية الجوهرية عبر المجالات المصدرية، نقترح طريقة تعلم تعاوني لتكييف المجالات دون الحاجة إلى رؤية أي بيانات من المجال المستهدف. بالإضافة إلى ذلك، وبشكل مشابه لحالة التكييف غير المُعلَّم، نستفيد من بيانات المجال المستهدف غير المُعلَّمة لتحسين الأداء بشكل إضافي، وذلك من خلال تقييد إخراج نماذج التكييف المتعددة بوساطة تسميات وهمية تُولَّد ديناميكيًا عبر نموذج مجمَّع. أُجريت تجارب واسعة ودراسات استبعاد (أبليشن) على مجموعات بيانات معيارية شائعة الاستخدام في تكييف المجالات لترميز الدلالة. حققت الطريقة المقترحة 59.0% من mIoU على مجموعة التحقق من Cityscapes عند التدريب على مجموعتي بيانات Synscapes وGTA5 المُعلَّمتين ومجموعة التدريب غير المُعلَّمة من Cityscapes. وتفوقت بشكل ملحوظ على جميع الطرق السابقة المُتميزة في مجالات التكييف غير المُعلَّم ذات المصدر الواحد والمتعدد.