نماذج الأساس التعاونية للتقسيم الدلالي العام للنطاق

يُعنى التجزئة الدلالية العامة للنطاق (DGSS) بتدريب نموذج على نطاق مصدر مُعلَّم بهدف التعميم على نطاقات غير مرئية أثناء الاستدلال. تُطبّق الطرق الحالية لـ DGSS عادةً ميزات قوية من خلال تقنية تنويع النطاق (DR). لكن هذا النهج غالبًا ما يكون محدودًا لأنه يُعالج فقط تنوع الأنماط ولا يأخذ في الاعتبار المحتوى. في هذا العمل، نتبع نهجًا متعامدًا لـ DGSS ونُقدّم استخدام مجموعة من النماذج التأسيسية التعاونية لتقديم تجزئة دلالية عامة للنطاق (CLOUDS). وبشكل مفصل، يُشكّل CLOUDS إطارًا يدمج أنواعًا مختلفة من النماذج التأسيسية: (أ) نواة CLIP لتمثيل الميزات القوي، (ب) النماذج التوليدية لتنويع المحتوى، وبالتالي تغطية مختلف الأنماط الممكنة لتوزيع الهدف، و(ج) نموذج Segment Anything (SAM) لتحسين تنبؤات نموذج التجزئة بشكل تكراري. تُظهر التجارب الواسعة أن CLOUDS يتفوّق في التكيّف من البيئات الاصطناعية إلى معايير DGSS الواقعية، وكذلك في ظروف جوية مختلفة، حيث يتفوّق على الطرق السابقة بنسبة 5.6% و6.7% على التوالي في متوسط مقياس miou. يمكن الوصول إلى الكود من خلال: https://github.com/yasserben/CLOUDS