ميزات التبديد لسد الفجوة بين المجالات لتقسيم الدلالة

أظهرت نماذج التشتت المُدرّبة مسبقًا كفاءة ملحوظة في توليد الصور عبر مجموعة واسعة من السيناريوهات باستخدام أوامر قابلة للتخصيص، مما يشير إلى قدرتها الفعّالة على استيعاب السمات الشاملة. مستلهمين من هذا الاتجاه، يركّز بحثنا على استغلال المعرفة الضمنية المُدمجة داخل نماذج التشتت لمعالجة التحديات المرتبطة بالتقطيع الدلالي عبر المجالات المختلفة. تُدرس هذه الورقة النهج الذي يستخدم تقنيات العينة والدمج للاستفادة بكفاءة من السمات المُستمدة من نماذج التشتت. ونُقدّم نموذج DIffusion Feature Fusion (DIFF) كهيكل أساسي لاستخراج ودمج التمثيلات الدلالية الفعّالة من خلال عملية التشتت. وباستغلال القوة المميزة لقدرة التوليد من النص إلى الصورة، نُقدّم إطارًا تدريبيًا جديدًا مصممًا لتعلم المعرفة اللاحقة بشكل ضمني من هذه القدرة. ومن خلال تقييم دقيق في سياق التقطيع الدلالي العام للمجالات، نُثبت أن منهجيتنا تفوق الطرق السابقة في تقليل الفوارق بين المجالات المختلفة، وتحقيق أفضل أداء ممكن (SOTA) حتى الآن.