معالجة الصور باستخدام مسبقة GAN متعددة الأكواد

رغم نجاح شبكات المولدات المتنافسة (GANs) في توليد الصور، فإن تطبيق النماذج المدربة منها على معالجة الصور الحقيقية لا يزال تحديًا. غالبًا ما كانت الطرق السابقة تعكس صورة الهدف إلى الفضاء الكامن إما عن طريق التراجع الخلفي أو من خلال تعلم مشفّر إضافي. ومع ذلك، فإن إعادة بناء الصور باستخدام هاتين الطريقتين بعيدة عن المثالية. في هذا البحث، نقترح نهجًا جديدًا يُسمى mGANprior، لدمج شبكات GANs المدربة بشكل جيد كسابقة فعالة في مجموعة متنوعة من مهام معالجة الصور. بصفة خاصة، نستخدم رموزًا كامنة متعددة لإنشاء خرائط ميزات متعددة في بعض الطبقات الوسيطة للمولد، ثم نجمعها مع أهمية القنوات التكيفية لإعادة بناء الصورة الإدخال. يحسن مثل هذا الإفراط في التحديد للفضاء الكامن جودة إعادة بناء الصور بشكل كبير، مما يجعله أفضل من المنافسين الحاليين. تتيح إعادة بناء الصور عالية الدقة التي تم الحصول عليها استخدام النماذج المدربة من GANs كسابقة في العديد من التطبيقات العملية، مثل تلوين الصور، زيادة دقة الصور، استكمال الصور وإعادة التلاعب بالمعنى. قمنا أيضًا بتحليل خصائص التمثيل الطبقي الذي يتم تعلمه بواسطة نماذج GANs وألقينا الضوء على المعرفة التي يمكن لكل طبقة تمثيلها.