شبكة أومني-كيرنل لإعادة تأهيل الصور

تهدف إعادة ترميم الصور إلى استعادة صورة عالية الجودة من ملاحظة منخفضة الجودة ومُتضررة. في الآونة الأخيرة، حققت نماذج التحويل (Transformer) أداءً واعدًا في مهام إعادة ترميم الصور بفضل قدرتها القوية على نمذجة الاعتماديات طويلة المدى. ومع ذلك، فإن التعقيد المتزايد تربيعيًا بالنسبة لحجم المدخلات يجعلها غير قابلة للتطبيق في التطبيقات العملية. في هذه الورقة، نطور شبكة تلافيفية فعالة لإعادة ترميم الصور من خلال تحسين التعلم المتمثل في التمثيل متعدد المقياس. ولتحقيق ذلك، نقترح وحدة "أومني-كيرنل" (omni-kernel) التي تتكون من ثلاث فروع: الفرع العالمي، والفرع الكبير، والفرع المحلي، بهدف تعلم تمثيلات الميزات من المستوى العالمي إلى المحلي بشكل فعّال. وبشكل خاص، يُحقق الفرع العالمي مجالًا بصريًا عالميًا من خلال آلية الانتباه القنوي ثنائي المجال والآلية المُنظَّمة تردديًا. علاوةً على ذلك، لتقديم مجالات استقبال متعددة الحُسْن (مُتعددة الحُسْن)، تم صياغة الفرع الكبير باستخدام تلافيف عميقة ذات أشكال مختلفة وأحجام كيرنل غير معتادة ومتزايدة. بالإضافة إلى ذلك، نُكمل المعلومات المحلية باستخدام تلافيف عميقة نقطية. وأخيرًا، تم بناء الشبكة المقترحة، والتي أُطلق عليها اسم OKNet، من خلال إدراج وحدة أومني-كيرنل في الموضع المُحَدّد (bottleneck) لضمان الكفاءة. تُظهر التجارب الواسعة أداءً متميزًا على 11 مجموعة بيانات معيارية لثلاثة مهام ممثلة لإعادة ترميم الصور، تشمل إزالة الضباب عن الصور، وإزالة الثلوج عن الصور، وتصحيح ضبابية التركيز. يمكن الوصول إلى الشفرة المصدرية من خلال الرابط التالي: https://github.com/c-yn/OKNet.