استخدام نماذج أساس الرؤية لتحقيق تقسيم مفردات مفتوحة عالي الأداء بدون تدريب

بينما أدى التدريب المقارن للغة والصورة (CLIP) إلى تقدم في التوقعات ذات المفردات المفتوحة، فإن أدائه في تقسيم الصور إلى مكوناتها الدلالية لا يزال دون المستوى الأمثل. يعود هذا النقص بشكل أساسي إلى خصائصه الدلالية الثابتة مكانياً ودقة صوره المحدودة. بينما عالجت التكيفات السابقة مشكلة الثبات المكاني الدلالي من خلال تعديل الانتباه الذاتي في مُشفر الصور الخاص بـ CLIP، ظلت مشكلة الدقة المحدودة غير مستكشفة.على عكس طرق التقسيم ثم اللصق السابقة التي تقوم بتقسيم الصور الفرعية عبر نافذة منزلقة ولصق النتائج، نقدم نموذج اللصق ثم التقسيم الذي يدمج نموذج تقسيم أي شيء (SAM) لمعالجة مشكلة الدقة، حيث يتميز SAM بقدرته على استخراج الارتباطات الدلالية الدقيقة من الصور عالية الدقة. تحديداً، نقدم نظام Trident، وهو إطار عمل لا يتطلب تدريباً يقوم أولاً بلصق الخصائص المستخرجة بواسطة CLIP و DINO من الصور الفرعية، ثم يستفيد من مُشفر SAM لإنشاء مصفوفة ارتباط للجمع العالمي، مما يتيح مجالاً استقباليًا أوسع لتحقيق تقسيم فعال. بالإضافة إلى ذلك، نقترح استراتيجية تحسين لنتائج التقسيم الخشنة الخاصة بـ CLIP عن طريق تحويلها إلى دوافع لـ SAM، مما يعزز أداء التقسيم بشكل أكبر.يحقق Trident تحسينًا كبيرًا في المتوسط الحسابي لمقياس IoU عبر ثمانية مقاييس مقارنة بأفضل الأداء الحالي (SOTA)، حيث يرتفع من 44.4 إلى 48.6. يمكن الوصول إلى الكود عبر الرابط: https://github.com/YuHengsss/Trident.