شبكة سيمياس دENSE لتعلّم غير مراقب كثيف

تقدم هذه الورقة نموذج الشبكة السيماسية الكثيفة (DenseSiam)، وهو إطار بسيط للتعلم غير المراقب المُوجَّه لمهام التنبؤ الكثيف. يتعلم النموذج تمثيلات بصرية من خلال تكبير التشابه بين نظرين لنفس الصورة باستخدام نوعين من الاتساق: الاتساق البكسي (الPixel Consistency) والاتساق الإقليمي (Region Consistency). وبشكل محدد، يبدأ نموذج DenseSiam بتعزيز الاتساق المكاني على مستوى البكسل بناءً على التوافق المكاني الدقيق في المنطقة المتشابكة. كما يستخرج مجموعة من تمثيلات الإقليم (region embeddings) المقابلة لبعض الأجزاء الفرعية في المنطقة المتشابكة، لاستخدامها في مقارنة التشابه على مستوى الإقليم. على عكس الطرق السابقة التي تتطلب أزواج بكسل سالبة (negative pixel pairs) أو مشغلات متحركة (momentum encoders) أو أقنعة يدوية (heuristic masks)، يُستفيد DenseSiam من البنية البسيطة للشبكة السيماسية، ويعمل على تحسين الاتساق على مستويات مختلفة من التفاصيل. كما يُثبت النموذج أن التوافق المكاني البسيط والتمثيلات المتفاعلة للإقليم كافيان لتعلم التشابه بشكل فعّال. تم تطبيق DenseSiam على مجموعة ImageNet، وأظهر تحسينات تنافسية في العديد من المهام اللاحقة (downstream tasks). كما أظهرت الدراسة أن الإطار البسيط يمكنه مباشرة إجراء مهام التنبؤ الكثيف فقط من خلال إضافة بعض خسائر محددة حسب المهمة. وعلى معيار تقليدي للتحليل البصري غير المراقب، تفوق DenseSiam على أفضل الطرق الحالية في التصنيف الشامل بنسبة 2.1 نقطة في مقياس mIoU، مع تقليل تكاليف التدريب بنسبة 28٪. تم إتاحة الكود والنموذج على الرابط: https://github.com/ZwwWayne/DenseSiam.