سافاري: متحول تتابعي متكيف للتقسيم الضعيف الإشراف على التعبيرات المرجعية

يهدف تقسيم التعبير المرجعي (Referring Expression Segmentation - RES) إلى توفير قناع تقسيم لل obeject الهدف في صورة يشير إليها النص (أي، التعبير المرجعي). تتطلب الأساليب الحالية ملاحظات على نطاق واسع للقناع. بالإضافة إلى ذلك، لا تعمم هذه الأساليب بشكل جيد على السيناريوهات غير المألوفة/التصورات الصفرية. لمعالجة القضايا المذكورة أعلاه، نقترح هندسة تدريبية ذات إشراف ضعيف مع العديد من الابتكارات الخوارزمية الجديدة. حسب علمنا، فإن اقتراحنا هو أول نهج يعتبر فقط جزءًا صغيرًا من ملاحظات القناع والصندوق (كما هو موضح في الشكل 1 وجدول 1) للتدريب. لتمكين التدريب المبدئي للنماذج في مثل هذه البيئات ذات الملاحظات المنخفضة، تحسين التناظر بين الصورة والنص على مستوى المنطقة، وتعزيز تحديد موقع الكائن الهدف في الصورة بشكل أفضل، نقترح وحدة الاندماج متعدد الوسائط مع توافق الانتباه (Cross-modal Fusion with Attention Consistency). بالنسبة لتسمية العينات غير المصنفة تلقائيًا، نقدم روتين تنقية صحة القناع الجديد المستند إلى طريقة تقييم مقترحات الصفر الزمكانية (spatially aware zero-shot proposal scoring approach). تظهر التجارب الواسعة أن نموذجنا SafaRi يحقق دقة تقاطع متوسطة (mIoU) قدرها 59.31 و48.26 عند استخدام 30% فقط من الملاحظات، بالمقارنة مع دقة تقاطع متوسطة قدرها 58.93 و48.19 التي حققها النموذج ذو الإشراف الكامل SeqTR على مجموعة بيانات RefCOCO+@testA وRefCOCO+testB على التوالي. كما يتفوق SafaRi على SeqTR بنسبة 11.7% (على مجموعة بيانات RefCOCO+@testA) و19.6% (على مجموعة بيانات RefCOCO+testB) في بيئة ذات إشراف كامل ويظهر قدرات تعميم قوية في المهام غير المألوفة/التصورات الصفرية.