شبكة تجميع التنبؤ للفصل البانوبيكسي

تهدف التجزئة الشاملة (Panoptic segmentation) إلى إنتاج تنبؤات فئوية وفريدة (instance-wise) لكل بكسل في الصورة المدخلة، وهي مهمة صعبة ومعقدة إلى حد بعيد مقارنة بالدمج البسيط لنتائج التجزئة المعنى (semantic) والتجزئة الفردية (instance). ولهذا، يُعد دمج التنبؤات أمرًا بالغ الأهمية لتحقيق تجزئة شاملة دقيقة. في هذه الورقة، نقدّم نموذج REFINE، وهو شبكة دمج تنبؤات (pREdiction FusIon NEtwork) مخصصة للتجميع الشامل، والتي تهدف إلى تحقيق تجزئة شاملة عالية الجودة من خلال تحسين دمج التنبؤات بين المهام (cross-task fusion) وداخل المهمة الواحدة (within-task fusion). حقق نموذجنا الوحيد، القائم على معمارية ResNeXt-101 مع استخدام التحويل الديناميكي (DCN)، مؤشر PQ = 51.5 على مجموعة بيانات COCO، متفوقًا بفارق ملحوظ على أفضل الأداءات الحالية، ومقارنًا بأداء النماذج المجمعة (ensembled models). كما حقق نموذجنا الأصغر، المبني على هيكل أساسي من نوع ResNet-50، مؤشر PQ = 44.9، وهو ما يعادل أداء أفضل الطرق الحالية التي تعتمد على هياكل أساسية أكبر.