MIM-Refiner: تعزيز التعلم المقارن من التمثيلات المدربة مسبقًا الوسيطة

نقدم MIM (نمذجة الصور المقنعة)-Refiner، وهو تعزيز للتعلم التبايني لنموذج MIM المدرب مسبقًا. يُلهم MIM-Refiner من الفكرة القائلة بأن التمثيلات القوية داخل نماذج MIM توجد عادةً في الطبقات الوسيطة. وفقًا لذلك، يستخدم MIM-Refiner عدة رؤوس تباينية متصلة بطبقات وسيطة مختلفة. في كل رأس، يتم بناء مجموعات معنى باستخدام هدف الجار الأقرب المعدل، مما يلتقط المعلومات الدلالية التي تحسن الأداء في المهام اللاحقة، بما في ذلك الإعدادات الجاهزة والتكيف الدقيق.عملية التحسين قصيرة وبسيطة - ومع ذلك فهي فعالة للغاية. خلال بضعة عصور فقط، نقوم بتحسين خصائص نماذج MIM من أقل من المتوسط إلى أفضل الخصائص الجاهزة على مستوى العالم. عند تحسين ViT-H الذي تم تدريبه مسبقًا باستخدام data2vec 2.0 على ImageNet-1K، فإنه يحدد مستوى جديدًا للتفوق العالمي في الاستكشاف الخطي (84.7%) والتعرف على النماذج ذات الطلقات المنخفضة بين النماذج التي تم تدريبها مسبقًا على ImageNet-1K. يجمع MIM-Refiner بكفاءة مزايا نماذج MIM وأهداف ID ويقارن بشكل إيجابي مع النماذج السابقة للتعلم الذاتي غير المشرف (SSL) في مجموعة متنوعة من المقاييس مثل التعرف على النماذج ذات الطلقات المنخفضة، تصنيف الأذيال الطويلة، التجميع والتقسيم الدلالي.科技/学术术语处理：MIM (Masked Image Modeling): MIM (نمذجة الصور المقنعة)contrastive learning: التعلم التباينيintermediate layers: الطبقات الوسيطةcontrastive heads: الرؤوس التباينيةnearest neighbor objective: هدف الجار الأقربsemantic clusters: مجموعات معنىdownstream tasks: المهام اللاحقةoff-the-shelf features: الخصائص الجاهزةfine-tuning settings: الإعدادات الخاصة بالتكيف الدقيقViT-H: ViT-H (اختصار لـ Vision Transformer Huge)data2vec 2.0: data2vec 2.0ImageNet-1K: ImageNet-1Klinear probing: الاستكشاف الخطيlow-shot classification: التعرف على النماذج ذات الطلقات المنخفضةlong-tailed classification: تصنيف الأذيال الطويلةclustering: التجميعsemantic segmentation: التقسيم الدلالي