DualDn: تصفية الضوضاء عبر المجال المزدوج من خلال معالجة صورة الإشارات القابلة للتفاضل

إزالة الضوضاء من الصور هي عنصر حاسم في خط أنابيب معالجة إشارات الصور (ISP) في الكاميرات. توجد طريقتان شائعتان لدمج معالج إزالة الضوضاء في خط أنابيب ISP: تطبيق معالج الإزالة مباشرة على الإطارات الخام المُلتقطة (في مجال الصورة الخام)، أو على الصور الناتجة من ISP بالتنسيق sRGB (في مجال sRGB). ومع ذلك، تمتلك كلتا الطريقتين قيودًا. فضلاً عن ذلك، يمكن أن تُضاعف معالجات ISP اللاحقة الضوضاء المتبقية من معالجة الصور الخام، كما أن معالجة الصور في مجال sRGB تواجه صعوبات في التعامل مع الضوضاء المتغيرة مكانيًا، لأنها ترى فقط الضوضاء المشوهة بواسطة ISP. ونتيجة لذلك، غالبًا ما تكون الطرق التقليدية لإزالة الضوضاء في مجال الصور الخام أو sRGB محدودة بتكيفها مع توزيعات معينة للضوضاء وتكوينات محددة لـ ISP. لمعالجة هذه التحديات، نقترح DualDn، وهو نموذج جديد لمعالجة إزالة الضوضاء القائم على التعلم في مجالين متزامنين. على عكس الطرق السابقة التي تعتمد على مجال واحد فقط، يتألف DualDn من شبكتين لمعالجة إزالة الضوضاء: واحدة في مجال الصورة الخام، والأخرى في مجال sRGB. تعتمد الشبكة في مجال الصورة الخام على التكيّف مع ضوضاء حساسات معينة، وكذلك مع مستويات ضوضاء متغيرة مكانيًا، في حين تتكيف الشبكة في مجال sRGB مع التغيرات في ISP وإزالة الضوضاء المتبقية التي تُضاعفها معالجات ISP. وتم ربط كلا الشبكتين بـ ISP قابل للتفاضل، والذي يتم تدريبه بالكامل من البداية إلى النهاية، ثم يتم التخلص منه أثناء مرحلة الاستنتاج. وبهذا التصميم، يحقق DualDn قدرة تعميم أعلى مقارنةً بالعديد من الطرق القائمة على التعلم لإزالة الضوضاء، حيث يمكنه التكيّف مع أنواع غير معروفة من الضوضاء، ومقاييس ISP المختلفة، وحتى خطوط أنابيب ISP الجديدة. أظهرت التجارب أداءً متميزًا مقارنةً بأفضل الطرق الحالية، ويمكنه التكيّف مع هياكل مختلفة لإزالة الضوضاء. علاوةً على ذلك، يمكن استخدام DualDn كوحدة مدمجة لإزالة الضوضاء مع الكاميرات الحقيقية دون الحاجة إلى إعادة التدريب، مع الحفاظ على أداء أفضل من تقنيات إزالة الضوضاء التجارية المدمجة في الكاميرات. يمكن زيارة الموقع الرسمي للمشروع عبر الرابط التالي: https://openimaginglab.github.io/DualDn/