MIC: التوافق بين الصور المقنعة لتعزيز التكيف النطقي بالسياق

في التكيف غير المشرف بين المجالات (UDA)، يتم تكييف نموذج تم تدريبه على بيانات المصدر (مثل البيانات الاصطناعية) مع بيانات الهدف (مثل البيانات الحقيقية) دون الوصول إلى تسميات الهدف. يعاني معظم الأساليب السابقة في UDA من الفئات التي لها مظهر بصرى مشابه في مجال الهدف، حيث لا تكون هناك حقائق أرضية متاحة لتعلم الاختلافات البصرية الطفيفة. لحل هذه المشكلة، نقترح وحدة التوافق بين الصور المقنعة (MIC) لتعزيز UDA من خلال تعلم علاقات السياق المكاني لمجال الهدف كدلالات إضافية للتمييز البصري القوي. تقوم MIC بفرض التوافق بين التوقعات للصور المستهدفة المقنة، حيث يتم حجب شرائح عشوائية، والعلامات الوهمية التي يتم إنشاؤها بناءً على الصورة الكاملة بواسطة معلم بمتوسط ​​متحرك أسي. لتحقيق أدنى خسارة توافق، يجب على الشبكة أن تتعلم استنتاج التوقعات للمناطق المحجوبة من سياقها. نظرًا لمفهومها البسيط والشامل، يمكن دمج MIC في العديد من أساليب UDA عبر مهام مختلفة للتعرف البصري مثل تصنيف الصور، والتقسيم الدلالي، وكشف الأشياء. يحسن MIC بشكل كبير الأداء الرائد في مختلف مهام التعرف للUDA من اصطناعي إلى حقيقي، ومن النهار إلى الليل، ومن صافٍ إلى طقس سيء. على سبيل المثال، يحقق MIC أداءً غير مسبوق في UDA بنسبة 75.9 mIoU و92.8٪ على GTA-to-Cityscapes وVisDA-2017 على التوالي، مما يعادل تحسينًا بنسبة +2.1 و+3.0 نقطة مئوية فوق الأداء السابق الرائد. يمكن الحصول على التنفيذ من https://github.com/lhoyer/MIC.