التدريب المسبق الذاتي للهوية الشخصية القائمة على المحولات

تحقيق أداء متميز في إعادة التعرف على الأشخاص (ReID) من خلال التدريب المسبق المراقب المستند إلى Transformer. ومع ذلك، نظرًا للفراغ بين المجالات بين مجموعات بيانات ImageNet وReID، يُعدّ عادةً الحاجة إلى مجموعة بيانات تدريب مسبق أكبر (مثل ImageNet-21K) لتحسين الأداء، وذلك بفضل قدرة Transformer القوية على التكيف مع البيانات. لمعالجة هذه التحديات، يهدف هذا العمل إلى تقليل الفجوة بين بيانات التدريب المسبق وبيانات ReID من منظور البيانات وهيكل النموذج على حد سواء. نحن نقوم أولًا بدراسة مناهج التعلم ذاتي التحفيز (SSL) باستخدام نموذج Vision Transformer (ViT) مُدرّب مسبقًا على صور أشخاص غير مُعلّمة (مجموعة بيانات LUPerson)، ونجد تجريبيًا أن هذا النموذج يتفوق بشكل كبير على النماذج المدربة مسبقًا باستخدام ImageNet في مهام ReID. ل進一步 تقليل الفجوة بين المجالات وتسريع عملية التدريب المسبق، نقترح مؤشر نسيان الكارثة (CFS) لتقييم الفجوة بين بيانات التدريب المسبق وبيانات التخصيص. استنادًا إلى CFS، يتم اختيار مجموعة فرعية من خلال أخذ عينات من البيانات ذات الصلة القريبة من بيانات ReID في المهام اللاحقة، مع استبعاد البيانات غير ذات الصلة من مجموعة التدريب المسبق. أما من حيث هيكل النموذج، فنُقترح وحدة مخصصة لـ ReID تُسمى "الجذع التبادلي القائم على IBN" (ICS)، والتي تُسهم في تقليل الفجوة بين المجالات من خلال تعلّم ميزات أكثر استقرارًا. أجرينا تجارب واسعة لضبط النماذج المدربة مسبقًا في بيئات التدريب المراقب، والتكيف دون تسمية المجال (UDA)، والتعلم دون تسمية (USL). نجحنا في تقليل حجم مجموعة بيانات LUPerson بنسبة 50% دون التأثير على الأداء. في النهاية، حققنا أداءً متقدمًا على مستوى الحالة الحالية في مجموعتي بيانات Market-1501 وMSMT17. على سبيل المثال، حقق نموذج ViT-S/16 لدينا دقة mAP تبلغ 91.3% / 89.9% / 89.6% على Market1501 في مهام ReID المراقبة / UDA / USL. سيتم إتاحة الشفرات والنموذج على الرابط: https://github.com/michuanhaohao/TransReID-SSL.