KBNet: شبكة أساس النواة لاستعادة الصور

كيفية تجميع المعلومات المكانية تلعب دورًا أساسيًا في استعادة الصور القائمة على التعلم. تعتمد معظم الشبكات الحالية القائمة على CNN على نوى التحويل الثابتة لتشفير المعلومات المكانية، والتي لا تستطيع تجميع المعلومات المكانية بطريقة متكيفة. حققت الأطر الحديثة القائمة على المتحولات (transformers) تجميعًا مكانيًا متكيفًا، لكنها تعاني من عدم وجود التحيزات الاستقرائية المرغوبة للتحويلات وتحتاج إلى تكاليف حسابية ثقيلة. في هذا البحث، نقترح وحدة انتباه أساس النواة (Kernel Basis Attention - KBA)، والتي تقوم بتقديم أسس نواة قابلة للتعلم لنمذجة الأنماط الصورية الممثلة لتجميع المعلومات المكانية. يتم تدريب أسس النواة المختلفة لنمذجة الهياكل المحلية المختلفة. في كل موقع مكاني، يتم دمجها بشكل خطي ومتكيف بواسطة معاملات بيكسلية متوقعة للحصول على أوزان التجميع. بناءً على وحدة KBA، صممنا أيضًا كتلة دمج الخصائص متعددة المحاور (Multi-Axis Feature Fusion - MFF) لترميز ودمج الخصائص القناوية، والمكانيّة غير المتغيرة، والبيكسلية المتكيفة لاستعادة الصور. يحقق نموذجنا، الذي سُمي بشبكة أساس النواة (Kernel Basis Network - KBNet)، أداءً رائدًا في أكثر من عشر مقاييس مرجعية لأعمال إزالة الضوضاء وإزالة الأمطار وإزالة التشويش في الصور، مع الحاجة إلى تكاليف حسابية أقل من الطرق الرائدة السابقة.