HINet: شبكة التطبيع النصفي للوحدات لاستعادة الصور

في هذه الورقة، نستعرض الدور الذي تلعبه التطبيع الحالة (Instance Normalization) في المهام البصرية منخفضة المستوى. وبشكل خاص، نقدم كتلة جديدة تُسمى "كتلة التطبيع النصفي للحالة" (HIN Block) لتعزيز أداء شبكات استعادة الصور. استنادًا إلى كتلة HIN، صممنا شبكة متعددة المراحل بسيطة وقوية تُسمى HINet، والتي تتكون من شبكتين فرعيتين. وبفضل كتلة HIN، تفوقت HINet على أفضل الأداء الحالي (SOTA) في مجموعة متنوعة من مهام استعادة الصور. بالنسبة لاسترجاع الصور من الضوضاء، تفوقت على الأداء الحالي بمقدار 0.11 ديسيبل و0.28 ديسيبل في معيار PSNR على مجموعة بيانات SIDD، مع استخدام فقط 7.5% و30% من عمليات الضرب والجمع (MACs) الخاصة بها، وحققت تسريعًا بنسبة 6.8 مرة و2.9 مرة على التوالي. أما في استرجاع الصور من الضبابية، فقد حصلنا على أداء مماثل مع استخدام 22.5% من عمليات MACs وتسريع بنسبة 3.3 مرة على مجموعتي بيانات REDS وGoPro. وفي استرجاع الصور من المطر، تفوقنا بمقدار 0.3 ديسيبل في معيار PSNR في المتوسط على نتائج عدة مجموعات بيانات، مع تسريع بنسبة 1.4 مرة. وباستخدام HINet، نجحنا في الفوز بالمركز الأول في مسابقة NTIRE 2021 لاسترجاع الصور من الضبابية – المسار 2 (JPEG Artifacts)، بتحقيق PSNR قدره 29.70. يمكن الوصول إلى الكود عبر الرابط التالي: https://github.com/megvii-model/HINet.