SpatialFlow: ربط جميع المهام للفصل البانوبتيك

إن تحديد موقع الكائنات يُعدّ أساسياً في التجزئة الشاملة (panoptic segmentation)، نظراً لارتباطه بكل ما هو "كائن" (thing) و"مادة" (stuff) في مشهد الصورة. ويُوفّر معرفة مواقع الكائنات في الصورة أدلةً تُساعد في عملية التجزئة، كما تُمكّن الشبكة من فهم أفضل لمشهد الصورة. أما كيفية دمج معلومات الموقع الكائنات في كل من التجزئة الخاصة بالكائنات والمواد فهي مشكلة جوهرية. في هذا البحث، نقترح استخدام تدفقات معلومات مكانيّة لتحقيق هذا الهدف. حيث تُمكّن هذه التدفقات من ربط جميع المهام الفرعية في التجزئة الشاملة من خلال نقل السياق المكاني للكائنات من مهمة استرجاع المربعات (box regression) إلى المهام الأخرى. والأهم من ذلك، قمنا بتصميم أربع شبكات فرعية متوازية لضمان تكيّف أفضل لمعلومات الموقع المكاني في المهام الفرعية. وباستخدام هذه الشبكات الفرعية والتدفقات، نقدّم إطاراً موحداً واعياً بالموقع لمشكلة التجزئة الشاملة، يُسمّى SpatialFlow. قمنا بدراسة تحليلية مفصلة لكل مكوّن من مكونات النموذج، ونجّرنا تجارب واسعة لإثبات فعالية SpatialFlow. علاوة على ذلك، حققنا نتائج متفوّقة على مستوى الحالة الحالية (state-of-the-art)، حيث بلغت قيم PQ 47.9 و62.5 على مجموعتي بيانات MS-COCO وCityscapes للتجزئة الشاملة على التوالي. وسيكون الكود متاحاً عبر الرابط: https://github.com/chensnathan/SpatialFlow.