الضبط الكثيف ذو المعلمات الفعالة للتقسيم المرجعي للصورة

في مجال الرؤية الحاسوبية، أصبح ضبط المعلمات بكفاءة (Parameter-Efficient Tuning - PET) يحل تدريجياً محل النموذج التقليدي للتدريب المسبق تبعه بالضبط التام. يتميز PET بفعاليته في النماذج الأساسية الكبيرة، حيث يبسط تكاليف نقل التعلم ويحسن استخدام الأجهزة. ومع ذلك، فإن طرق PET الحالية مصممة بشكل أساسي لتحسين النمط الواحد. رغم أن بعض الدراسات الرائدة قد أجرت استكشافات أولية، إلا أنها لا تزال عند مستوى المُشفِّرات المُحَدَّثة (مثل CLIP) ولا تتضمن استكشافاً للمُشفِّرات غير المُحَدَّثة. هذه الطرق تظهر أداءً غير مثالي مع المُشفِّرات غير المُحَدَّثة، حيث فشلت في تحقيق تناسق فعال بين الخصائص متعددة الوسائط أثناء عملية الدقة. في هذا البحث، نقدم DETRIS، وهو إطار عمل لضبط المعلمات بكفاءة مصمم لتعزيز انتشار الخصائص البصرية من رتبة منخفضة من خلال إنشاء اتصالات كثيفة بين كل طبقة وكل الطبقات السابقة لها، مما يتيح التفاعل الفعال بين الخصائص متعددة الوسائط والتكيف مع المُشفِّرات غير المُحَدَّثة. كما نقترح استخدام مكيفات النص لتحسين الخصائص النصية. يتفوق نهجنا البسيط والفعال بشكل كبير على أفضل الأساليب الحالية بمعدل تحديث يتراوح بين 0.9% و1.8% من معلمات الهيكل الأساسي، وقد تم تقييمه على مقاييس صعبة. يمكن الوصول إلى مشروعنا عبر الرابط \url{https://github.com/jiaqihuang01/DETRIS}.