الدلالات الغنية تُحسّن التعلم القليل التمثيل

يستفيد التعلم البشري من المدخلات متعددة الوسائط التي تظهر غالبًا كمعاني غنية (مثل وصف سمات كائن أثناء تعلمه). وهذا يمكّننا من تعلم مفاهيم قابلة للتوسع من عدد محدود جدًا من الأمثلة البصرية. ومع ذلك، تستخدم الطرق الحالية للتعلم من عدد قليل من الأمثلة (FSL) تسميات فئوية رقمية لتمثيل فئات الكائنات، والتي لا توفر معانيًا معنوية غنية حول المفاهيم المُتعلّمة. في هذا العمل، نُظهر أن استخدام وصفات لغوية على مستوى الفئة، التي يمكن جمعها بتكلفة تسمية ضئيلة، يمكن أن يُحسّن أداء التعلم من عدد قليل من الأمثلة. مع إعطاء مجموعة دعم وطلبات استفسار، يكمن فكرتنا الرئيسية في إنشاء ميزة بصرية ضيقة (بروتوتايب هجيني) تُستخدم لاحقًا في توليد وصفات لغوية للفئات كمهام مساعدة أثناء التدريب. وقد طوّرنا آلية ترميز ذهابًا وإيابًا تعتمد على مُحول (Transformer) لربط الرموز البصرية والمعنوية، مما يمكّن من ترميز العلاقات المعقدة بين الوسائط المختلفة. وفرض أن البروتوتايبات تحتفظ بمعلومات معنوية حول وصف الفئة يعمل كعامل تنظيم على الميزات البصرية، مما يحسّن قدرتها على التعميم على فئات جديدة أثناء الاستنتاج. علاوة على ذلك، تفرض هذه الاستراتيجية مُقدّمة بشرية على التمثيلات المُتعلّمة، مما يضمن أن النموذج يربط بشكل موثوق بين المفاهيم البصرية والمعنوية، وبالتالي يحسّن قابلية تفسير النموذج. تُظهر تجاربنا على أربع مجموعات بيانات، بالإضافة إلى دراسات التحليل التجريبي، فائدة نمذجة فعّالة للمعاني الغنية في التعلم من عدد قليل من الأمثلة.