OpenSD: التجزئة والكشف متعددة المفردات الموحدة

في الآونة الأخيرة، تم اقتراح بعض الطرق المفتوحة المفردات باستخدام بنية موحدة للتعامل مع مهام التجزئة والكشف العامة. ومع ذلك، لا تزال أداؤها متأخرًا عن النماذج المخصصة لكل مهمة بسبب التناقض بين المهام المختلفة، كما أن قدرتها على التعامل مع المفردات المفتوحة محدودة نظرًا للاستفادة غير الكافية من نموذج CLIP. لمعالجة هذه التحديات، نقدّم إطارًا قائمًا على المحول العام، يُختصر بـ OpenSD، والذي يستخدم نفس البنية والبارامترات الشبكية للتعامل مع مهام التجزئة والكشف المفتوحة المفردات. أولاً، نُقدّم استراتيجية تعلّم منفصلة للـ decoder لتخفيف الصراع الدلالي بين فئات الأشياء (things) والمواد (stuff)، مما يمكّن كل مهمة على حدة من التعلّم بشكل أكثر فعالية ضمن نفس الإطار. ثانيًا، لاستغلال CLIP بشكل أفضل في التجزئة والكشف من النهاية إلى النهاية، نقترح استخدام فئتين منفصلتين للتصنيف: واحدة للنطاق المُدرَج (in-vocabulary) والأخرى للنطاق الخارجي (out-of-vocabulary). كما يتم تدريب مشفر النص بشكل إضافي ليصبح واعيًا بالمنطقة لكل من فئات الأشياء والمواد من خلال تعلّم المقترحات المنفصلة، مما يمكّنه من استبعاد التنبؤات المكررة أو منخفضة الجودة، وهو أمر بالغ الأهمية للتجزئة والكشف من النهاية إلى النهاية. أُجريت تجارب واسعة على عدة مجموعات بيانات في ظروف مختلفة. أظهرت النتائج أن OpenSD تتفوّق على أحدث الطرق المفتوحة المفردات في التجزئة والكشف، سواء في البيئات المغلقة أو المفتوحة. يمكن الوصول إلى الكود من خلال: https://github.com/strongwolf/OpenSD