نهج التكيف النطقي للمنهاج في تقسيم المعنى لمشاهد الحضر

خلال النصف عقد الماضي، حققت شبكات العصبي المتكررة (CNNs) نجاحًا كبيرًا في تقسيم الصور إلى معاني، وهي واحدة من المهام الأساسية في العديد من التطبيقات مثل القيادة الذاتية والواقع المعزز. ومع ذلك، يتطلب تدريب هذه الشبكات كمية كبيرة من البيانات، والتي تكون صعبة في جمعها ومكلفة في تسميتها. أتاحت التطورات الحديثة في الرسوميات الحاسوبية إمكانية تدريب شبكات العصبي المتكررة على صور مركبة واقعية تم إنشاؤها بواسطة الكمبيوتر مع تسميات مولدة حاسوبيًا. ومع ذلك، فإن الاختلاف بين المجالات بين الصور الحقيقية والبيانات المركبة يعيق أداء النماذج. لذلك، نقترح نهجًا للتعلم بطريقة منهجية لتقليل الفجوة بين المجالات في تقسيم الصور إلى معاني للمشهد الحضري. يقوم التكيف المنهجي بالمجال بحل المهام السهلة أولاً لاستنتاج الخصائص اللازمة حول المجال المستهدف؛ بشكل خاص، يكون أول مهمة هي تعلم التوزيعات العالمية للتسميات عبر الصور والتوزيعات المحلية فوق البكسلات الرئيسية (landmark superpixels). هذه الخصائص سهلة التقدير لأن صور المشاهد الحضرية لها خصوصيات قوية (مثل حجم وعلاقات المكان للمباني والشوارع والسيارات وما إلى ذلك). ثم نقوم بتدريب شبكة التقسيم، مع تنظيم توقعاتها في المجال المستهدف لتتبع تلك الخصائص المستنتجة. وفي التجارب، أثبتت طريقة عملنا أنها أفضل من الأساليب الأساسية على مجموعتي بيانات وشبكتين أساسيتين. كما نقدم دراسات استبعاد واسعة حول نهجنا.