CAILA: مُعدّلات داخل الطبقة المستندة إلى المفاهيم لتعلم الصيغة الصفرية المركبة

في هذه الورقة، ندرس مشكلة التعلم الصفرية المركبة (CZSL)، وهي القدرة على التعرف على تركيبات جديدة بين الصفات والكائنات باستخدام مفاهيم موجودة مسبقًا. يركّز الباحثون الحديثون على تطبيق نماذج التدريب المسبق للرؤية واللغة على نطاق واسع (VLP) مثل CLIP، التي تمتلك قدرة تعميم قوية. ومع ذلك، فإن هذه الطرق تتعامل مع النموذج المُدرَّب مسبقًا كصندوق أسود، وتُركّز على العمليات التي تسبق وبعد CLIP، دون استغلال الاستخراج الداخلي للمفاهيم المعنى بين الطبقات داخل CLIP. نقترح التعمق في بنية النموذج وإدخال "مُعدّلات" (adapters)، وهي تقنية فعّالة من حيث عدد المعلمات وقد أثبتت نجاحها في النماذج الكبيرة للغة، إلى كل طبقة في مُشفِّر CLIP. ونزوّد هذه المُعدّلات بوعي بالمعاني المفاهيمية، بحيث يمكن استخلاص ميزات مخصصة لكل من "الكائن"، و"الصِفة"، و"التركيب". وقد قُمنا بتقييم منهجنا على أربع مجموعات بيانات شهيرة لمشكلة CZSL: MIT-States و C-GQA و UT-Zappos و VAW-CZSL، وقد أظهرت النتائج أداءً متقدّمًا على مستوى الحالة الحالية مقارنةً بالطرق الحالية في جميع هذه المجموعات.