ColorMAE: استكشاف استراتيجيات التمويه المستقلة عن البيانات في مُشَكِّلات الترميز المُخفي

أصبحت نماذج التشفير التلقائي المُقنّعة (MAE) إطارًا ذاتيًا موثوقًا، تُظهر أداءً متميزًا في مجموعة واسعة من المهام اللاحقة. لزيادة صعوبة المهمة التمهيدية وتعلم تمثيلات بصرية أكثر غنىً، ركّزت الدراسات السابقة على استبدال التغطية العشوائية القياسية باستراتيجيات أكثر تطورًا، مثل التغطية الموجهة بالذكاء الاصطناعي (التي تُوجَّه بواسطة نموذج مُدرّب مسبقًا) أو التغطية الموجهة بالمدرب (teacher-guided). ومع ذلك، تعتمد هذه الاستراتيجيات على بيانات الإدخال، مما يؤدي غالبًا إلى زيادة تعقيد النموذج ويتطلب حسابات إضافية لإنشاء أنماط التغطية. هذا يطرح السؤال التالي: هل يمكننا تحسين أداء MAE فوق التغطية العشوائية دون الاعتماد على بيانات الإدخال أو تحمل تكاليف حسابية إضافية؟ في هذه الدراسة، نقدّم طريقة بسيطة وفعّالة تعتمد على بيانات خارجية، تُسمى ColorMAE، والتي تُولّد أنماط تغطية ثنائية مختلفة من خلال تصفية الضوضاء العشوائية. مستوحاة من الضوضاء اللونية في معالجة الصور، نستكشف أربع أنواع من المرشحات لتوليد أنماط تغطية تمتلك مُعطيات مكانيّة ودلالية مختلفة. تتميز ColorMAE بعدم الحاجة إلى معلمات قابلة للتعلم إضافية أو أي عبء حسابي إضافي داخل الشبكة، ومع ذلك فإنها تُحسّن بشكل كبير التمثيلات المُتعلّمة. نقدّم تقييمًا تجريبيًا شاملاً، يُظهر تفوق استراتيجيتنا في المهام اللاحقة مقارنة بالتغطية العشوائية. وبشكل ملحوظ، نُبلّغ عن تحسّن قدره 2.72 في مقياس mIoU في مهام التجزئة الدلالية مقارنةً بالإصدارات الأساسية لـ MAE.