التحسين التوافقي للتقسيم الشامل: نهج قابل تمامًا للتفاضل

نُقدّم بنية قابلة للتفاضل بالكامل لتقسيم بانوبتيك (أي التقسيم الشكلي والInstances في نفس الوقت)، تتكون من شبكة عصبية تلافيفية وحلال لمشكلة التقسيم غير المتماثل متعدد الطرق. يحل هذا الأخير مشكلة تحسين توليفي يُدمج بشكل أنيق التنبؤات الشكلية وتنبؤات الحدود لإنتاج تسمية بانوبتيك. يسمح لنا هذا الصياغة بتحقيق تحسين مباشر لمعيار جودة بانوبتيك الناعم من خلال تمرير التدرج عبر مشكلة التحسين. تُظهر التقييمات التجريبية تحسّنًا من خلال تمرير التدرج عبر مشكلة التحسين مقارنةً بالطرق المماثلة على مجموعتي بيانات Cityscapes وCOCO. بشكل عام، تُظهر طريقة عملنا فائدة استخدام التحسين التوليفي جنبًا إلى جنب مع التعلم العميق في مشكلة واقعية واقعية واسعة النطاق، وتُبرز الفوائد والرؤى المتعلقة بتدريب مثل هذه البنية.