تعلم إنشاء صور ضوضائية واقعية من خلال التدريب المضاد المُدرك للضوضاء على مستوى البكسل

تتطلب الطرق الحالية لتصفية الضوضاء الحقيقية القائمة على التعلم العميق كميات كبيرة من أزواج الصور المضيئة والمضيئة المُشوشة لغرض الإشراف. ومع ذلك، فإن جمع مجموعة بيانات حقيقية مكوّنة من صور مُشوشة وصورة نظيفة هو إجراء مكلف للغاية ومرهق. ولتخفيف هذه المشكلة، تُجري هذه الدراسة بحثًا حول كيفية إنشاء صور مشوّشة واقعية. أولاً، نُصيغ نموذج ضوضاء بسيط لكنه معقول، يعامل كل بكسل مشوش حقيقي كمتغير عشوائي. ويُقسّم هذا النموذج مشكلة إنشاء الصور المشوّشة إلى مشكلتين فرعيتين: محاذاة المجال الصوري ومحاذاة مجال الضوضاء. ثم، نقترح إطارًا جديدًا يُسمّى شبكة جان التوليدية المُدركة للضوضاء على مستوى البكسل (PNGAN). يستخدم PNGAN مُصفّيًا حقيقيًا مُدرّبًا مسبقًا لتحويل الصور المشوّشة الزائفة والواقعية إلى فضاء حل تقريبًا خالٍ من الضوضاء، وذلك لتنفيذ محاذاة المجال الصوري. وفي الوقت نفسه، يُنشئ PNGAN تدريبًا مُعاكسًا على مستوى البكسل لإنجاز محاذاة مجال الضوضاء. علاوة على ذلك، ولتحسين مطابقة الضوضاء، نقدّم بنية فعّالة تُسمّى الشبكة متعددة المقياس البسيطة (SMNet) كمُولّد. تُظهر التحقق النوعي أن الضوضاء التي تُولّدها PNGAN شبيهة جدًا بالضوضاء الحقيقية من حيث الشدة والتوزيع. وتُظهر التجارب الكمية أن مجموعة من مُصفّيات الصور المدربة باستخدام الصور المشوّشة المولّدة تحقق نتائج متقدمة جدًا (SOTA) على أربع معايير واقعية لتصفية الصور. يمكن الوصول إلى جزء من الكود، النماذج المُدرّبة مسبقًا، والنتائج من خلال الرابط التالي: https://github.com/caiyuanhao1998/PNGAN للمقارنة.