GMNet: شبكة تطابق الرسوم البيانية لتقسيم الدلالة الجزئية على نطاق واسع في البيئات الطبيعية

إن التصنيف الدلالي لأجزاء الكائنات في البيئات الطبيعية (البرية) يُعد مهمة صعبة تتطلب اكتشاف عدة أمثلة للكائنات، فضلاً عن اكتشاف عدة أجزاء داخل كل كائن ضمن المشهد. وبقيت هذه المشكلة مُهملة إلى حدٍ كبير حتى اليوم، رغم أهميتها الأساسية في فهم الكائنات بتفصيل دقيق. في هذا العمل، نقترح إطارًا جديدًا يجمع بين التوجيه بالسياق على مستوى الكائن (object-level context conditioning) وعلاقة المساحة على مستوى الجزء (part-level spatial relationships) لمعالجة هذه المهمة. وللتغلب على الغموض على مستوى الكائن، نُدخل وحدة توجيه حسب الفئة (class-conditioning module) للحفاظ على المعاني على مستوى الفئة عند تعلم المعاني على مستوى الجزء. وبهذا، تُحمل الميزات المتوسطة (mid-level features) هذه المعلومات قبل مرحلة التفكيك (decoding). وللتغلب على الغموض وتحسين التحديد المكاني على مستوى الجزء، نقترح وحدة جديدة تعتمد على الرسم البياني للتجاور (adjacency graph-based module)، والتي تهدف إلى مطابقة العلاقات المكانية النسبية بين الأجزاء الحقيقية (ground truth) والجزء المُتنبأ به. أظهرت التجارب على مجموعة بيانات Pascal-Part نتائج متميزة على مستوى الحد الأقصى (state-of-the-art) في هذه المهمة.