تمكين التكيّف بين المجالات دون مصدر من خلال التعلم التدريجي القائم على الموثوقية والموجه بواسطة MLLM

تهدف التكييف الحدودي الخالي من المصدر (SFDA) إلى تكييف نموذج مصدر مُدرّب مسبقًا لكي يتناسب مع مجال مستهدف باستخدام بيانات الهدف فقط دون تسمية. تواجه الطرق الحالية لـ SFDA تحديات في الاستفادة الفعّالة من المعرفة المُدرّبة مسبقًا واستغلال بيانات المجال المستهدف. تُقدّم النماذج الكبيرة متعددة الوسائط للغة (MLLMs) قدرات مميزة في فهم المعلومات البصرية والنصية، لكن تطبيقها على SFDA يواجه صعوبات مثل فشل الالتزام بالتعليمات، والمتطلبات الحسابية الكبيرة، وصعوبة قياس الأداء قبل التكييف. لمعالجة هذه المشكلات، نقترح إطارًا جديدًا يُسمى التعلم التدريجي القائم على الموثوقية (RCL)، والذي يدمج عدة نماذج MLLM لاستغلال المعرفة من خلال التسمية الوهمية في سياق SFDA. يشتمل إطارنا على نقل المعرفة الموثوقة، وتوسيع المعرفة الموجه بالـ MLLM مع تصحيح ذاتي، وتحسين التماسك متعدد الأحمر (Multi-hot Masking Refinement)، بهدف استغلال البيانات غير المُعلّمة في المجال المستهدف بشكل تدريجي. يحقق RCL أداءً من الدرجة الأولى (SOTA) على عدة معايير لـ SFDA، مثل زيادة بنسبة 9.4% على مجموعة بيانات DomainNet، مما يدل على فعاليته في تعزيز قدرة التكييف والمتانة دون الحاجة إلى الوصول إلى بيانات المصدر. يمكن الوصول إلى الكود الخاص بنا من خلال: https://github.com/Dong-Jie-Chen/RCL.