التعلم من التاريخ: التعلم المتناهي للنماذج غير الموجهة للمهام لاستعادة الصور

أصبح التعلم التبايني (Contrastive Learning) نموذجًا سائدًا للمهام البصرية عالية المستوى، وقد تم استغلاله أيضًا في المهام البصرية منخفضة المستوى من خلال إدخال عينات سلبية مناسبة، بهدف تحقيق فضاء تحسين مكثف يتناسب مع طبيعة هذه المهام التي تُعد غير محددة بشكل جيد (ill-posed). ومع ذلك، تعتمد الطرق الحالية على عينات سلبية محددة مسبقًا ومرتبطة بمهمة معينة، وهي غالبًا ما تُظهر انحيازات مميزة لكل مهمة. ولحل هذه التحديات، نقدم في هذا البحث منهجية مبتكرة تُسمى "التعلم من التاريخ" (learning from history)، والتي تُولِّد عينات سلبية ديناميكية من داخل النموذج المستهدف نفسه. ونُطلق على منهجيتنا اسم التعلم التبايني للنموذج في استعادة الصور (Model Contrastive Learning for Image Restoration - MCLIR)، والتي تُعيد تنشيط النماذج البطيئة (latency models) لتُصبح نماذجًا سلبية، مما يجعلها متوافقة مع مهام استعادة الصور المتنوعة. ونُقدّم خسارة العينات السلبية المُرشدة بالذات (Self-Prior guided Negative loss - SPN) لتحقيق ذلك. ويُظهر هذا النهج تحسينًا ملحوظًا في الأداء النموذجي عند إعادة تدريب النماذج باستخدام النموذج التبايني المقترح. وتُظهر النتائج تحسنًا كبيرًا في استعادة الصور عبر مهام وبنية معمارية متنوعة. على سبيل المثال، تتفوّق النماذج التي أُعيد تدريبها باستخدام SPN على النموذج الأصلي FFANet وDehazeFormer بـ 3.41 ديسيبل و0.57 ديسيبل على مجموعة بيانات RESIDE الداخلية في مهمة تفتيح الصور. وبالمثل، تُحقّق تحسينات ملحوظة قدرها 0.47 ديسيبل على مجموعة بيانات SPA-Data في مهمة إزالة المطر (image deraining) مقارنةً بنموذج IDT، و0.12 ديسيبل على مجموعة بيانات Manga109 في مهمة تكبير الصور بمعامل 4x مقارنةً بنموذج SwinIR الخفيف. يمكن الوصول إلى الكود والنماذج المُعاد تدريبها من خلال الرابط التالي: https://github.com/Aitical/MCLIR.