HRDA: التجزئة الدلالية المتكيفة مع المجال بدقة عالية ووعي بالسياق

التكيف غير المشرف بين المجالات (UDA) يهدف إلى تكييف نموذج تم تدريبه على مجال المصدر (مثل البيانات المصنعة) مع مجال الهدف (مثل البيانات الحقيقية) دون الحاجة إلى مزيد من التسميات في مجال الهدف. تركز هذه الدراسة على UDA للتقسيم الدلالي، حيث تكون التسميات البكسلية الحقيقية باهظة الثمن للحصول عليها. نظرًا لأن طرق UDA للتقسيم الدلالي غالبًا ما تكون مكثفة لذاكرة GPU، فإن معظم الطرق السابقة تعمل فقط على صور مقاسة بحجم أصغر. نشك في هذا التصميم لأن التوقعات ذات الدقة المنخفضة غالبًا ما تفشل في الحفاظ على التفاصيل الدقيقة. البديل هو التدريب باستخدام قطع عشوائية من الصور عالية الدقة، مما يخفف من هذه المشكلة ولكنه يفتقر إلى التقاط المعلومات السياقية طويلة المدى والمقاومة للمجال. لذلك، نقترح HRDA، وهي طريقة تدريب متعددة الدقة لـ UDA، تجمع بين قوة القطع الصغيرة عالية الدقة في الحفاظ على تفاصيل التقسيم الدقيق وقوة القطع الكبيرة ذات الدقة المنخفضة في التقاط اعتماديات السياق طويلة المدى مع انتباه مقاس بالتعلم، مع الحفاظ على حجم ذاكرة GPU قابل للإدارة. يمكن لـ HRDA أن تسهل تكييف الأشياء الصغيرة والحفاظ على تفاصيل التقسيم الدقيق. لقد أظهرت تحسينات كبيرة في الأداء الرائد بمقدار 5.5 mIoU لـ GTA-to-Cityscapes و4.9 mIoU لـ Synthia-to-Cityscapes، مما أدى إلى تحقيق 73.8 و65.8 mIoU بشكل غير مسبوق على التوالي. يمكن الوصول إلى التنفيذ عبر الرابط: https://github.com/lhoyer/HRDA.