تحسين استعادة الصور بإعادة النظر في تجميع المعلومات العالمية

العمليات العالمية، مثل التجميع العالمي المتوسط، تُستخدم على نطاق واسع في مُستعيدات الصور ذات الأداء العالي. تقوم هذه العمليات بتجميع المعلومات العالمية من الخصائص المدخلة عبر الأبعاد المكانية الكاملة، ولكنها تتصرف بشكل مختلف أثناء التدريب والاختبار في مهام استعادة الصور: فهي تعتمد على مناطق مختلفة، وهي القطع المحاصورة (من الصور) والصور بدقة كاملة. يعيد هذا البحث النظر في تجميع المعلومات العالمية ويجد أن خصائص الصور المستخدمة أثناء الاستدلال لها توزيع مختلف عن خصائص القطع المستخدمة أثناء التدريب. يؤدي هذا عدم التجانس بين التدريب والاختبار إلى تأثير سلبي على أداء النماذج، وهو أمر تم إغفاله بشدة في الأعمال السابقة. لتخفيض هذا عدم التجانس وتحسين أداء الاختبار، نقترح طريقة بسيطة تسمى محول محلي وقت الاختبار (Test-time Local Converter - TLC). يقوم TLC بتحويل العمليات العالمية إلى محلية فقط أثناء الاستدلال بحيث تقوم بتجميع الخصائص داخل المناطق المكانية المحلية بدلاً من الصور الكبيرة بأكملها. يمكن تطبيق الطريقة المقترحة على مجموعة متنوعة من الوحدات العالمية (مثل التطبيع، والانتباه القنواتي والمكاني) مع تكاليف قليلة جداً. بدون الحاجة لأي تعديل دقيق، يحسن TLC النتائج الرائدة في مجالها على عدة مهام لاستعادة الصور، بما في ذلك تصحيح تشويش الحركة في صورة واحدة، تصحيح تشويش الفيديو، تصحيح تشويش التركيز غير الدقيق، وإزالة الضوضاء من الصور. بشكل خاص، باستخدام TLC، يحسن Restormer-Local النتيجة الرائدة في مجالها في تصحيح تشويش الحركة في صورة واحدة من 32.92 ديسيبل إلى 33.57 ديسيبل على مجموعة بيانات GoPro. يمكن الوصول إلى الشفرة البرمجية عبر الرابط https://github.com/megvii-research/tlc.