العشوائية المجالية والتوافق الهرمي: التعميم من المحاكاة إلى الواقع دون الوصول إلى بيانات المجال المستهدف

نقترح استغلال إمكانات المحاكاة لتقسيم الدلالة للمناظر الحقيقية ذاتية القيادة في إطار تعميم المجال. يتم تدريب شبكة التقسيم دون أي بيانات من المجالات المستهدفة ويتم اختبارها على المجالات المستهدفة غير المعلومة. لهذا الغرض، نقترح نهجًا جديدًا للتخصيص العشوائي للمجال والتوافق الهرمي لتعلم نموذج ذو قابلية تعميم عالية. أولاً، نقترح تخصيص الصور الاصطناعية بشكل عشوائي بأساليب الصور الحقيقية من حيث المظهر البصري باستخدام مجموعات بيانات مساعدة، وذلك لتعلم التمثيلات الثابتة للمجال بشكل فعال. ثانيًا، نفرض التوافق الهرمي عبر الصور المختلفة التي تم "تخصيصها" وأيضًا داخل الصورة الواحدة، وذلك لتعلم الخصائص الثابتة للمجال والثابتة للحجم على التوالي. تم إجراء تجارب واسعة النطاق للتعميم من GTA وSYNTHIA إلى Cityscapes وBDDS وMapillary؛ وقد حققت طرقنا نتائج أفضل من التقنيات الرائدة حاليًا. وبشكل ملحوظ، تكون نتائج تعميمنا مساوية أو حتى أفضل من تلك التي تم الحصول عليها بواسطة طرق التكيف من المحاكاة إلى الواقع الرائدة حاليًا، والتي تتطلب الوصول إلى بيانات المجال المستهدف أثناء التدريب (Simulation-to-Real Domain Adaptation).