التعلم المقابل والتدريب الذاتي للتكيف غير المراقب للنطاق في التجزئة الدلالية

أظهرت الشبكات العصبية التلافيفية العميقة تحسينًا كبيرًا في النتائج الحالية لتحليل المعنى (semantic segmentation). ومع ذلك، لا تزال المعماريات الحديثة تعاني من ضعف القدرة على التعميم بشكل جيد على مجموعة اختبار من مجال مختلف. لتجنب التكلفة العالية لتصنيف بيانات التدريب في مجالات غير مرئية، تسعى التكيف غير المراقب بين المجالات (Unsupervised Domain Adaptation - UDA) إلى تحقيق نقل فعّال للمعرفة من مجال مدرّب مُعلّم إلى مجال هدف غير معلّم. ركّزت الدراسات السابقة بشكل رئيسي على تقليل الفرق بين المجالين باستخدام التدريب العدواني أو التدريب الذاتي. في حين أن التدريب العدواني قد يفشل في محاذاة الفئات المعنى الصحيحة، لأنه يقلل الفرق بين التوزيعات العالمية، فإن التدريب الذاتي يثير تساؤلات حول كيفية توفير تسميات وهمية موثوقة. لمحاذاة الفئات المعنى الصحيحة عبر المجالات، نقترح منهجية تعتمد على التعلم التبايني (contrastive learning) لتعديل مركزيات الفئات حسب المجال. علاوة على ذلك، نوسع منهجنا باستخدام التدريب الذاتي، حيث نستخدم تجميعًا زمنيًا فعّالًا من حيث الذاكرة لإنشاء تسميات وهمية متسقة وموثوقة. على الرغم من أن التعلم التبايني والتدريب الذاتي (CLST) من خلال التجميع الزمني يمكّنان من نقل المعرفة بين المجالين، فإن التكامل بينهما هو ما يُحدث بنية تآزرية. وقد قمنا بتحقق من منهجنا على بنيتين معياريتين للتكيف بين المجالات: GTA5 → Cityscapes وSYNTHIA → Cityscapes. وقد حقق منهجنا نتائج أفضل أو مماثلة لأفضل النماذج الحالية. وسوف نُعمّم الكود بشكل عام للجمهور.