الانتباه الشريطي ثنائي المجال لاستعادة الصور

تهدف إعادة ترميم الصور إلى استعادة صورة عالية الجودة خفية من ملاحظة معوّقة. في الآونة الأخيرة، ساهم استخدام نماذج المُحَوِّل (Transformer) بشكل كبير في تحسين الأداء الحدّي لمهام إعادة ترميم الصور المختلفة بفضل قدرتها القوية على نمذجة الاعتماديات طويلة المدى. ومع ذلك، فإن التعقيد التربيعي لانتباه ذاتي (self-attention) يُعيق تطبيقاته العملية. علاوةً على ذلك، يمكن أن يكون الاستفادة الكافية من الفرق الطيفي الكبير بين أزواج الصور النظيفة والمعوّقة أيضًا مفيدًا في إعادة ترميم الصور. في هذا البحث، نُطوّر آلية انتباه شريطية ثنائية المجال لإعادة ترميم الصور من خلال تعزيز التعلم التمثيلي، والتي تتكون من وحدات انتباه شريطية فضائية وشريطية ترددية. بشكل محدد، تقوم وحدة الانتباه الشريطية الفضائية باستخلاص المعلومات السياقية لكل بكسل من مواقعه المجاورة في نفس الصف أو العمود، تحت إشراف أوزان مُتعلّمة عبر فرع بسيط مبني على التحويل التوافقي (convolutional branch). وبالإضافة إلى ذلك، تقوم وحدة الانتباه الشريطية الترددية بتحسين السمات في المجال الطيفي من خلال فصل الترددات وتعديلها، وذلك باستخدام تقنيات بسيطة للاستخلاص (pooling). علاوةً على ذلك، نطبّق أحجامًا مختلفة من الأشرطة لتعزيز التعلم متعدد المقاييس، وهو ما يُعد مفيدًا في التعامل مع التدهورات ذات الأحجام المختلفة. وباستخدام وحدات الانتباه الثنائية المجال في اتجاهات مختلفة، يمكن لكل بكسل أن يدرك بشكل غير مباشر معلومات من منطقة ممتدة. وبشكل عام، تحقق الشبكة المقترحة للاستشعار الشريطي ثنائي المجال (DSANet) أداءً متفوّقًا على مستوى الحدّ الأقصى في 12 مجموعة بيانات مختلفة لـ 4 مهام لإعادة ترميم الصور، بما في ذلك إزالة الضباب، وإزالة الثلوج، وإزالة الضوضاء، وإزالة الضبابية الناتجة عن عدم التركيز.