CycleISP: إصلاح الصور الحقيقية من خلال توليد بيانات محسّن

إن توافر مجموعات البيانات الضخمة ساهم في إطلاق الإمكانات الحقيقية للشبكات العصبية التلافيفية العميقة (CNN). ومع ذلك، فإن جمع مجموعة بيانات حقيقية لمشكلة إزالة الضوضاء من صورة واحدة يُعد إجراءً مكلفًا وغير عملي بشكل مقبول. ونتيجة لذلك، يتم تطوير خوارزميات إزالة الضوضاء من الصور وتجريبها بشكل رئيسي على بيانات مُصطنعة، والتي تُولَّد عادةً بافتراض شائع هو الضوضاء البيضاء الغاوسيّة المضافة (AWGN). وعلى الرغم من أن الشبكات العصبية التلافيفية تحقق نتائج مبهرة على هذه المجموعات الاصطناعية، إلا أنها لا تؤدي بأداء جيد عند تطبيقها على الصور الحقيقية من الكاميرات، كما أشارت إليه بيانات المقارنة الحديثة. ويُعزى هذا إلى حد كبير إلى أن الضوضاء البيضاء الغاوسيّة المضافة لا تكفي لتمثيل ضوضاء الكاميرا الحقيقية، التي تختلف حسب الإشارة وتخضع لتحويلات شديدة عبر خط أنابيب تصوير الكاميرا. في هذه الورقة، نقدّم إطارًا يُمكّن من نمذجة خط أنابيب تصوير الكاميرا في الاتجاهين الأمامي والخلفي. ويتيح هذا الإطار إنتاج أي عدد من أزواج الصور الواقعية لإزالة الضوضاء في كل من فراغات RAW وsRGB. وبتدريب شبكة جديدة لإزالة الضوضاء على بيانات اصطناعية واقعية، نحقق أداءً متقدّمًا في مستوى الحالة الحالية على مجموعات بيانات المقارنة الحقيقية من الكاميرات. كما أن المعاملات في نموذجنا تقلّ عن خمسة أضعاف المنهج السابق الأفضل في إزالة الضوضاء من الصور RAW. علاوةً على ذلك، نُظهر أن الإطار المقترح يُعمّم على مشكلات غير إزالة الضوضاء، مثل مطابقة الألوان في السينما ثلاثية الأبعاد. يُمكن الوصول إلى الشيفرة المصدرية والنماذج المُدرّبة مسبقًا عبر الرابط: https://github.com/swz30/CycleISP.