بيبا: التعلم الذاتي على مستوى البكسل والشظايا للتكيف النطاقي في تقسيم المعنى

التكيف غير المشرف بين المجالات (UDA) يهدف إلى تعزيز قابلية تعميم النموذج المتعلم إلى مجالات أخرى. يتم نقل المعرفة الثابتة بين المجالات من النموذج الذي تم تدريبه على مجال المصدر المصنف، مثل ألعاب الفيديو، إلى مجالات الهدف غير المصنفة، مثل السيناريوهات الحقيقية، مما يوفر تكاليف التصنيف. غالبًا ما تركز طرق UDA القائمة للفصل الدلالي على تقليل الاختلاف بين المجالات على مستويات مختلفة، مثل البكسل والخصائص والتوقعات، لاستخراج المعرفة الثابتة بين المجالات. ومع ذلك، فإن المعرفة الأساسية داخل المجال، مثل الارتباط السياقي داخل الصورة، لا تزال قليلة الاستكشاف. في محاولة لسد هذه الفجوة، نقترح إطارًا موحدًا للتعلم الذاتي على مستوى البكسل والشظايا (PiPa)، للفصل الدلالي التكيفي بين المجالات والذي يسهل ارتباط البكسل على مستوى الصورة وتماسك الشظايا الدلالي ضد سياقات مختلفة. يستغل الإطار المقترح الهياكل الداخلية للصور داخل المجال والتي: (1) تشجع بشكل صريح على تعلم الخصائص التمييزية للبكسل مع الكثافة داخل الفئة والانفصال بين الفئات، و(2) تحفز على تعلم الخصائص القوية لنفس الشظية ضد سياقات أو اضطرابات مختلفة. تؤكد التجارب الواسعة فعالية الطريقة المقترحة، حيث حققت دقة تنافسية في معياري UDA الأكثر استخدامًا، أي 75.6 mIoU من GTA إلى Cityscapes و68.2 mIoU من Synthia إلى Cityscapes. بالإضافة إلى ذلك، تكون طريقتنا متوافقة مع طرق UDA الأخرى لتحسين الأداء دون إدخال معلمات إضافية.