التدريب المسبق لمحولات الرؤية الخفيفة على مجموعات بيانات صغيرة باستخدام صور مُصغّرة إلى أدنى حد

هل يمكن لنموذج Vision Transformer خفيف الوزن (ViT) أن يواكب أو يتفوق على الشبكات العصبية التلافيفية (CNNs) مثل ResNet عند استخدامه على مجموعات بيانات صغيرة ذات دقة صور منخفضة؟ يُظهر هذا التقرير أن نموذج ViT النقي يمكنه بالفعل تحقيق أداءً متفوقًا من خلال التدريب المسبق، باستخدام تقنية مُشفّر تلقائي مُقنّع (masked auto-encoder) مع تقليل حدّي للتكبير الصوري. تضمنت تجاربنا على مجموعتي بيانات CIFAR-10 وCIFAR-100 نماذج ViT تحتوي على أقل من 3.65 مليون معلمة، وعدد عمليات الضرب والجمع (MAC) أقل من 0.27 مليار، ما يجعلها نماذج "خفيفة الوزن". على عكس الطرق السابقة، تمكّن طريقة التصميم لدينا من تحقيق أداءً من الدرجة الأولى بين النماذج القائمة على المحولات الخفيفة، دون الحاجة إلى تكبير كبير للصور من مجموعتي CIFAR-10 وCIFAR-100. يُبرز هذا الإنجاز كفاءة نموذجنا، ليس فقط في التعامل مع مجموعات بيانات صغيرة، بل أيضًا في معالجة الصور بفعالية بالقرب من دقتها الأصلية.