إكمال الصور الحرة باستخدام التفاف المُعَلَّم

نقدم نظامًا لإكمال الصور باستخدام أقنعة حرة وإرشادات. يعتمد النظام على الالتفافات المغلقة التي تم تعلمها من ملايين الصور دون جهود تصنيف إضافية. يحل الالتفاف المغلق المقترح مشكلة الالتفاف العادي الذي يعتبر جميع البكسلات الدخلية صالحة، ويعمم الالتفاف الجزئي من خلال توفير آلية اختيار ديناميكية قابلة للتعلم لكل قناة في كل موقع فضائي عبر جميع الطبقات. علاوة على ذلك، نظرًا لأن الأقنعة الحرة قد تظهر في أي مكان بالصور وبأي شكل، فإن الشبكات العصبية التوليدية المعتمدة على الخسارة العالمية والمحلية المصممة لقناع مستطيل واحد غير قابلة للتطبيق. لذلك، نقدم أيضًا خسارة GAN مرتكزة على القطع (SN-PatchGAN) من خلال تطبيق مميز التربيع الطيفي على القطع الكثيفة من الصورة. SN-PatchGAN بسيطة في الصياغة، سريعة ومستقرة في التدريب. تظهر النتائج في إكمال الصور بشكل آلي وفي الإرشاد المستخدم أن نظامنا يولد نتائج ذات جودة أعلى ومرونة أكبر من الأساليب السابقة. يساعد نظامنا المستخدمين على إزالة الأشياء المزعجة بسرعة، تعديل تخطيطات الصور، محو العلامات المائية وتحرير الوجوه. يمكن الحصول على الرمز والتجربة والنموذج من الرابط التالي: https://github.com/JiahuiYu/generative_inpainting