COSMo: حوار CLIP حول التكيف بين المجالات متعدد الأهداف المفتوح

التكيف بين المجالات متعدد الأهداف (MTDA) يتضمن تعلم المعلومات الثابتة بين المجالات من مجال مصدر واحد وتطبيقها على عدة مجالات هدف غير مصنفة. ومع ذلك، فإن طرق MTDA الحالية تركز بشكل أساسي على معالجة التحولات بين المجالات ضمن الخصائص البصرية، غالباً ما تتجاهل الخصائص الدلالية وتواجه صعوبة في التعامل مع الفئات غير المعروفة، مما يؤدي إلى ما يعرف بـ MTDA المفتوح (OS). رغم أن النماذج الأساسية للرؤية واللغة ذات نطاق واسع مثل CLIP تعطي بوادر واعدة، إلا أن إمكاناتها لـ MTDA لم يتم استكشافها بشكل كبير. يقدم هذا البحث طريقة جديدة تسمى COSMo، والتي تتعلم الإشارات الثابتة للمجالات من خلال التعلم الموجه بالإشارات في مجال المصدر لمعالجة مشكلة MTDA في فضاء الإشارات. من خلال الاستفادة من شبكة التحيز الخاصة بالمجال وإشارات منفصلة للفئات المعروفة وغير المعروفة، يتكيف COSMo بكفاءة عبر التحولات بين المجالات والفئات. حسب أفضل علم لنا، يعتبر COSMo أول طريقة تعالج DA متعدد الأهداف والمفتوح (OSMTDA)، مما يوفر تمثيلاً أكثر واقعية للمواقف الحقيقية ويواجه تحديات كل من DA المفتوح ومتعدد الأهداف. يظهر COSMo تحسيناً متوسطاً بنسبة $5.1\%$ عبر ثلاثة مجموعات بيانات صعبة هي: Mini-DomainNet، Office-31، وOffice-Home، بالمقارنة مع الطرق الأخرى المتعلقة بـ DA التي تم تعديلها للعمل في إطار OSMTDA. يمكن الوصول إلى الكود من الرابط التالي: https://github.com/munish30monga/COSMo