خطوات أولى نحو التعلم بقليل من البيانات مع دلالات متعددة

التعلم من مثال أو بضعة أمثلة بصرية هو أحد القدرات الرئيسية للبشر منذ الطفولة المبكرة، ولكنه لا يزال تحديًا كبيرًا للأنظمة الذكائية الحديثة. رغم التقدم الكبير الذي تحقق في التعلم القليل الأمثل من بضع صور، إلا أن القليل من الاهتمام قد أُولِيَ للوصف الكلامي الذي يتم تقديمه عادةً للأطفال الرضع عند تقديم كائن جديد لهم. في هذا البحث، نركز على دور الدلالات الإضافية التي يمكن أن تسهل بشكل كبير التعلم البصري القليل الأمثل. معتمدين على التطورات الحديثة في مجال التعلم القليل الأمثل باستخدام المعلومات الدلالية الإضافية، نثبت أنه يمكن تحقيق تحسينات إضافية من خلال الجمع بين دلالات متعددة وأغنى (علامات الفئات، السمات، والوصف باللغة الطبيعية). باستخدام هذه الأفكار، نقدم للمجتمع نتائج جديدة على مقاييس التعلم القليل الأمثل الشهيرة miniImageNet وCUB (ميني إيماجنت وكوب)، حيث تتفوق هذه النتائج بشكل ملحوظ على أفضل النتائج السابقة لكل من الأساليب البصرية فقط والأساليب البصرية بالإضافة إلى الدلالات. كما أجرينا دراسة تقليصية لفحص مكونات وخيارات تصميم أسلوبنا.