الدمج متعدد المهام لتحسين تقسيم الأجزاء البانورامية

في هذا البحث، نقدم شبكة جديدة تولد تقسيمًا دلاليًا (semantic)، وتقسيمًا للعناصر (instance)، وتقسيمًا للأجزاء (part) باستخدام مُشفر مشترك (shared encoder) وتقوم بدمجها بكفاءة لتحقيق التقسيم البانورامي للأجزاء (panoptic-part segmentation). توحيد هذه المشاكل الثلاثة في التقسيم يسمح بتحسين التعلم التمثيلي بشكل متبادل ومتناقض. لدمج تنبؤات جميع الرؤوس الثلاثة بكفاءة، قدمنا وحدة دمج مشتركة خالية من المعلمات (parameter-free joint fusion module) تقوم بتوازن الديناميكية لللوغاريتمات (logits) ودمجها لإنشاء التقسيم البانورامي للأجزاء. تم تقييم طريقتنا على مجموعتي بيانات Cityscapes Panoptic Parts (CPP) وPascal Panoptic Parts (PPP). بالنسبة لـ CPP، فإن قياس جودة التقسيم للأجزاء (PartPQ) لنموذجنا المقترح مع الدمج المشترك يتفوق على أفضل النماذج السابقة بمقدار 1.6 نقطة مئوية و4.7 نقطة مئوية لكل المناطق والقطع التي تحتوي على أجزاء، على التوالي. وعلى PPP، فإن دمجنا المشترك يتفوق على نموذج يستخدم استراتيجية الدمج من الأعلى إلى الأسفل (top-down merging strategy) بمقدار 3.3 نقطة مئوية في قياس جودة التقسيم للأجزاء (PartPQ) و10.5 نقاط مئوية في قياس جودة التقسيم للأجزاء للتصنيفات القابلة للتقسيم (PartPQ for partitionable classes).