PAD-Net: شبكة التنبؤ والتقطير الموجهة بالمهام المتعددة لتقدير العمق وتحليل المشهد بشكل متزامن

التقدير العميق وتحليل المشهد هما من المهام الهامة للغاية في فهم المشاهد البصرية. في هذا البحث، نعالج مشكلة التقدير العميق وتفسير المشهد بشكل متزامن في شبكة عصبية اصطناعية مشتركة (CNN). يمكن التعامل مع هذه المهمة عادةً كمشكلة تعلم متعدد المهام عميقة [42]. على خلاف الطرق السابقة التي تقوم بتحسين مهام متعددة مباشرةً بناءً على البيانات التدريبية المدخلة، يقترح هذا البحث شبكة تنبؤ وإعادة تقطير متعددة المهام جديدة (PAD-Net)، والتي تقوم أولاً بالتنبؤ بمجموعة من المهام المساعدة الوسيطة التي تتراوح من المستوى المنخفض إلى المستوى العالي، ثم يتم استخدام التنبؤات الناتجة عن هذه المهام المساعدة الوسيطة كمدخلات متعددة الأوضاع عبر وحدات إعادة التقطير المتعددة الأوضاع المقترحة لدينا للمهام النهائية. أثناء عملية التعلم المشتركة، لا تقتصر المهام الوسيطة على العمل كإشراف لتعلم تمثيلات عميقة أكثر ثباتًا فحسب، بل توفر أيضًا معلومات غنية متعددة الأوضاع لتحسين المهام النهائية. تم إجراء تجارب واسعة النطاق على قاعدتين بيانات صعبتين (أي NYUD-v2 وCityscapes) لكل من مهام التقدير العميق وتفسير المشهد، مما يثبت فعالية الطريقة المقترحة.