تكيف التضمين المتقطع الحساس للصف لتصنيف الصور بعينة قليلة

"صورة تساوي ألف كلمة"، وليس ذلك فقط في التصنيف، بل تمتد إلى مجالات أوسع. ومع ذلك، فإن العديد من المناطق (البَقَع) في الصورة قد تكون ذات معنى غير ذي صلة على الإطلاق مع التصنيف إذا تم تحليلها بشكل منفصل. وقد يؤدي هذا إلى تقليل كفاءة فئة كبيرة من خوارزميات التعلم القليل (few-shot learning)، التي تعتمد بشكل كبير على مقارنة مناطق الصورة بسبب قلة البيانات المتاحة. لمعالجة هذه المشكلة، نقترح طريقة تُسمى "تكييف التضمينات المتعددة حسب الفئة" (Class-aware Patch Embedding Adaptation - CPEA)، والتي تهدف إلى تعلم "تضمينات واعية بالفئة" لمناطق الصورة. تتمثل الفكرة الأساسية لطريقة CPEA في دمج تضمينات المناطق مع تضمينات واعية بالفئة، بهدف جعل هذه التضمينات ذات صلة بالفئة. علاوةً على ذلك، نُعرّف مصفوفة نقاط كثيفة (dense score matrix) بين تضمينات المناطق المرتبطة بالفئة عبر الصور المختلفة، بناءً عليها يتم قياس درجة التشابه بين صور مزدوجة. تُظهر نتائج التصور أن CPEA تُركّز تضمينات المناطق حسب الفئة، مما يجعلها ذات صلة بالفئة. وتشير التجارب الواسعة على أربع مجموعات بيانات معيارية (benchmark datasets): miniImageNet، tieredImageNet، CIFAR-FS، وFC-100، إلى أن طريقة CPEA تتفوّق بشكل ملحوظ على الطرق الأفضل الحالية في المجال. يمكن الوصول إلى الشفرة المصدرية عبر الرابط: https://github.com/FushengHao/CPEA.