التعلم المزدوج المتسق المُولَّد بانحياز الأسلوب للتقسيم الدلالي العام للنطاق

في هذه الورقة، ندرس مهمة التصنيف الدلالي العام المُعمَّم من المجال الاصطناعي إلى المجال الحقيقي، والتي تهدف إلى تعلُّم نموذج مقاوم لمشاهد العالم الحقيقي غير المرئية باستخدام بيانات اصطناعية فقط. يُعد الفرق الكبير بين البيانات الاصطناعية والبيانات الحقيقية في العالم الحقيقي، بما في ذلك القيود على تنوّع البيئات المصدرية ووجود فجوة كبيرة في التوزيع بين البيانات الاصطناعية والواقعية، عائقًا كبيرًا أمام أداء النموذج على المشاهد الحقيقية غير المرئية. في هذا العمل، نقترح إطار عمل يُدعى التعلُّم المزدوج القائم على الاتساق التصريحي (SHADE) لمعالجة هذا التحول بين المجالات. وتحديدًا، يُبنى SHADE على قيود اتساقين: اتساق النمط (SC) واتساق التأمل العكسي (RC). يُثري SC الظروف المصدرية ويشجع النموذج على تعلُّم تمثيل متسق عبر العينات المتنوعة من النمط. أما RC، فيستفيد من المعرفة الواقعية لمنع النموذج من التكيف المفرط مع البيانات الاصطناعية، وبالتالي يُحافظ إلى حد كبير على اتساق التمثيل بين النموذج الاصطناعي والنموذج الحقيقي. علاوةً على ذلك، نقدّم وحدة جديدة تُسمى وحدة التخيل النمطي (SHM) لتوليد عينات متنوعة من النمط، وهي ضرورية لتعلم الاتساق. حيث تختار SHM أنماطًا أساسية من التوزيع المصدرية، مما يمكّن النموذج من توليد عينات متنوعة وواقعية بشكل ديناميكي أثناء التدريب. تُظهر التجارب أن SHADE يحقق تحسينًا ملحوظًا، ويتفوّق على أحدث الأساليب بـ 5.05% و8.35% على متوسط مقياس mIoU لثلاثة مجموعات بيانات واقعية، في الإعدادات الأحادية والمُتعددة المصدرية على التوالي.