تحسين دقة الصور الفوتوغرافية من صورة واحدة باستخدام شبكة مولدة متنافسة

رغم التقدم الكبير في دقة وسرعة تحسين جودة الصور الفردية باستخدام شبكات العصبي المتشابكة الأسرع والأعمق، فإن مشكلة مركزية واحدة لا تزال دون حل بشكل كبير: كيف يمكننا استعادة التفاصيل النسيجية الدقيقة عند زيادة الدقة بمعدلات كبيرة؟ يُحدِّد اختيار دالة الهدف بشكل أساسي سلوك طرق تحسين الجودة المستندة إلى الأمثلة. ركزت الأعمال الحديثة بشكل كبير على تقليل خطأ إعادة الإنشاء المتوسط المربع. تكون التقديرات الناتجة ذات نسب إشارة إلى ضوضاء قمة عالية، ولكنها غالباً ما تفتقر إلى التفاصيل ذات التردد العالي وتكون غير مرضية من الناحية الإدراكية بمعنى أنها فاشلة في تحقيق الدقة المتوقعة عند الدقة الأعلى. في هذا البحث، نقدم SRGAN، وهي شبكة مولدة معادية (GAN) لتحسين جودة الصور (SR). حسب علمنا، إنها أول إطار قادر على استنتاج صور طبيعية واقعية للزيادات بمعدل 4 أضعاف. لتحقيق ذلك، نقترح دالة خسارة إدراكية تتكون من خسارة معادية وخسارة محتوى. تقوم الخسارة المعادية بدفع حلولنا نحو متعدد الطيات الطبيعي للصور باستخدام شبكة تمييز مدربة على تمييز الصور التي تم تحسين جودتها عن الصور الواقعية الأصلية. بالإضافة إلى ذلك، نستخدم خسارة محتوى مستوحاة من الشبه الإدراكي بدلاً من الشبه في فضاء البكسلات. يتمكن شبكتنا العصبية الباقية العميقة من استعادة النسيج الواقعي للصور من صور تم تخفيض دقتها بشدة في المقاييس العامة. يظهر اختبار الرأي العام الواسع (MOS) اكتساباً هائلاً في الجودة الإدراكية باستخدام SRGAN. تكون درجات الرأي العام (MOS) التي يتم الحصول عليها باستخدام SRGAN أقرب إلى تلك الخاصة بالصور عالية الدقة الأصلية منها إلى تلك التي يتم الحصول عليها بأي طريقة متقدمة أخرى.