OCNet: شبكة السياق الكائني لتحليل المشهد

في هذا البحث، نتناول مهمة التجزئة الدلالية باستخدام مخطط جديد لتجميع السياق يُسمى \emph{سياق الكائنات (object context)}، والذي يركز على تعزيز دور المعلومات المتعلقة بالكائنات. مستوحين من حقيقة أن فئة كل بكسل تورث من الكائن الذي ينتمي إليه، نحدد سياق الكائن لكل بكسل كمجموعة البكسلات التي تنتمي إلى نفس الفئة للبكسل المعطى في الصورة. نستخدم مصفوفة علاقة ثنائية لتمثيل العلاقة بين جميع البكسلات، حيث يشير القيمة واحد إلى أن البكسلين المختارين ينتميان إلى نفس الفئة وصفر في غير ذلك.نقترح استخدام مصفوفة علاقة كثيفة كبديل لمصفوفة العلاقة الثنائية. تكون مصفوفة العلاقة الكثيفة قادرة على التركيز على إبراز مساهمة المعلومات المتعلقة بالكائنات حيث تكون درجات العلاقة أكبر على بكسلات الكائنات مقارنة بالبكسلات الأخرى. مع الأخذ بعين الاعتبار أن تقدير مصفوفة العلاقة الكثيفة يتطلب تكلفة حسابية وذاكرة تربيعية بالنسبة لحجم الإدخال، نقترح نظام انتباه ذاتي متداخل نادرًا لنمذجة العلاقات الكثيفة بين أي من البكسلين عبر الجمع بين مصفوفتين للعلاقة النادرة.لإدراك سياق أكثر غنىً بالمعلومات، نقوم بدمج نظام الانتباه الذاتي المتداخل النادر الخاص بنا مع الخطط التقليدية للتجميع متعدد المقياس بما في ذلك التجميع الهرمي~\citep{zhao2017pyramid} والتجميع الهرمي المكاني العريض~\citep{chen2018deeplab}. نظهر بشكل تجريبي المزايا الخاصة بنهجنا من خلال أداء تنافسي على خمسة مقاييس صعبة تشمل: Cityscapes، ADE20K، LIP، PASCAL-Context و COCO-Stuff.