تعلم التعليمات الهرمية مع المعرفة اللغوية الهيكلية للنماذج البصرية-اللغوية

أصبح التعلّم بالتحفيز (Prompt Learning) استراتيجية شائعة لتكيف نماذج الأساس البصرية-اللغوية مع المهام التطبيقية. مع ظهور النماذج اللغوية الكبيرة (LLMs)، استكشفت الدراسات الحديثة استخدام الوصف المرتبط بالفئات كمدخل لتعزيز فعالية التحفيز. ومع ذلك، تُظهر الوصفات التقليدية عجزًا عن تقديم معلومات منظمة تمثل بشكل فعّال الترابطات بين الكيانات أو الخصائص المرتبطة بفئة معينة. لمعالجة هذه القيود ووضع التركيز على استغلال المعرفة المنظمة، يدعو هذا البحث إلى استغلال النماذج اللغوية الكبيرة لبناء رسم بياني لكل وصف لتمثيل الكيانات والخصائص الواردة في الوصف، فضلاً عن الترابطات بينها. وتُظهر الطرق الحالية للتعديل على التحفيز (Prompt Tuning) قصورًا في التعامل مع هذه المعرفة المنظمة. ولهذا، نقترح منهجًا جديدًا يُسمى التكييف الهرمي للتحفيز (Hierarchical Prompt Tuning - HPT)، الذي يمكّن من تمثيل المعرفة المنظمة والمعرفة اللغوية التقليدية في آنٍ واحد. بشكل خاص، نقدّم وحدة انتباه موجهة بالعلاقة لالتقاط الترابطات الزوجية بين الكيانات والخصائص في مستوى التعلم المنخفض للتحفيز. علاوةً على ذلك، وباستخدام تحفيزات على المستويات العليا والعالمية لتمثيل المعاني الشاملة، يُشكّل الهيكل الهرمي المقترح روابط متقاطعة بين المستويات، ويمنح النموذج القدرة على التعامل مع علاقات أكثر تعقيدًا وطويلة الأمد. تُظهر التجارب الواسعة فعالية قوية لنموذج HPT، وتميّزه بقدرة تعميم أفضل بكثير مقارنةً بالطرق الرائدة الحالية. يُمكن الاطلاع على الكود الخاص بنا على الرابط: https://github.com/Vill-Lab/2024-AAAI-HPT.