التفكيك الدلالي عبر المجالات على التصنيف غير الموحد باستخدام نماذج الفهم البصري-اللغوي

يظهر التحدي المتعلق بالتقطيع الدلالي في التكيّف بين المجالات غير المُشرَّفة (UDA) ليس فقط بسبب التحولات بين المجالات المصدرية والمستهدفة، بل أيضًا بسبب التباينات في التصنيفات الفئوية عبر المجالات المختلفة. وافتراض البحث التقليدي في UDA هو اتساق التصنيف بين المجال المصدر والمستهدف، مما يحد من قدرته على التعرف على التصنيف في المجال المستهدف والتكيف معه. تقدم هذه الورقة منهجًا جديدًا يُسمى "التقطيع الدلالي عبر المجالات في ظل تصنيف غير متناسق باستخدام نماذج الرؤية واللغة" (CSI)، والذي يُطبّق التقطيع الدلالي التكيّفي بين المجالات بكفاءة حتى في الحالات التي تشهد اختلافًا في الفئات بين المجال المصدر والمستهدف. يعتمد CSI على القدرة التعميمية الدلالية لنموذج الرؤية واللغة (VLM)، مما يُحدث تآزرًا مع الطرق السابقة في UDA. حيث يستفيد من عملية الاستدلال على التقطيع الناتجة عن الطرق التقليدية في UDA، مُدمجًا مع المعرفة الدلالية الغنية المضمنة في نماذج VLM، لإعادة تسمية فئات جديدة في المجال المستهدف. يسمح هذا النهج بالتكيف الفعّال مع تصنيفات موسعة دون الحاجة إلى أي بيانات مرجعية (أي علامات حقيقية) للمجال المستهدف. وقد أظهرت النتائج فعالية منهجنا عبر عدة معايير في سياقات تصنيف غير متناسق (من تصنيف عام إلى تفصيلي، وتصنيف مفتوح)، كما أظهر أداءً متماسكًا في التآزر مع الطرق الرائدة السابقة في UDA. يمكن الاطلاع على التنفيذ العملي عبر الرابط: http://github.com/jkee58/CSI.