CAT-Seg: تجميع التكلفة للتصنيف الدلالي ذي الكلمة المفتوحة

يُعد التجزئة الدلالية ذات المفردات المفتوحة تحديًا في تصنيف كل بكسل ضمن صورة بناءً على مجموعة واسعة من الوصفات النصية. في هذا العمل، نقدّم منهجية جديدة تعتمد على التكلفة لتعديل النماذج الأساسية المتعددة الحواس (Vision-Language Foundation Models)، وخصوصًا نموذج CLIP، لإنجاز المهمة المعقدة لتقطيع الدلالة. من خلال جمع مقياس التشابه الكوسيني، أي حجم التكلفة بين تمثيلات الصورة والنص، يتمكن منهجنا من تعديل CLIP بشكل فعّال لتقطيع الفئات المرئية والغير المرئية من خلال تعديل المُشفّرات (Encoders) الخاصة به، مما يعالج التحديات التي تواجهها الطرق الحالية في التعامل مع الفئات غير المرئية. بالاعتماد على هذا الأساس، نستكشف طرقًا فعّالة لجمع حجم التكلفة مع أخذ طبيعته متعددة الوسائط بعين الاعتبار، حيث يُبنى هذا الحجم بين تمثيلات الصورة والنص. علاوةً على ذلك، نُجري دراسة متعددة للطرق المختلفة لتعديل CLIP بكفاءة.