التحول التدريجي للنمط مع الوعي الدلالي لاستعادة الوجوه غير المرئية

إعادة الوجه مهمة في معالجة صور الوجه وقد تم دراستها على نطاق واسع في السنوات الأخيرة. ومع ذلك، غالباً ما تفشل الأعمال السابقة في إنتاج نتائج ذات جودة عالية (HQ) مقبولة لصور الوجه منخفضة الجودة (LQ) الحقيقية. في هذا البحث، نقترح إطار عمل جديد للتحويل التدريجي الواعي بالمعنى للأسلوب، يُطلق عليه اسم PSFR-GAN، لإعادة الوجه. تحديداً، بدلاً من استخدام الإطار العمل المكون من مشفّر ومشفّر عكسي كما هو الحال في الأساليب السابقة، نصوغ عملية إعادة بناء صور الوجه منخفضة الجودة كإجراء ترميم متعدد المقاييس بشكل تدريجي عبر التحويل الواعي بالمعنى للأسلوب. عند تقديم زوج من صورة وجه منخفضة الجودة وخريطتها المرتبطة بها، نقوم أولاً بتكوين هرم متعدد المقاييس للمدخلات، ثم تعديل الخصائص المختلفة للمقاييس من الخشن إلى الدقيق بطريقة تحويل الأسلوب الواعي بالمعنى. مقارنة بشبكات سابقة، يستخدم الإطار العمل المقترح PSFR-GAN المعلومات الفضائية المعنى (خرائط التحليل) والبيكسل (صور LQ) بشكل كامل من أزواج المدخلات المتعددة المقاييس. بالإضافة إلى ذلك، قمنا بتعزيز خسارة الأسلوب الواعية بالمعنى التي تقوم بحساب خسارة أسلوب الخصائص لكل منطقة معنوية بشكل فردي لتحسين تفاصيل نسيج الوجه. وأخيراً، قمنا بتدريب شبكة تحليل الوجه مسبقاً والتي يمكنها إنتاج خرائط تحليل جيدة من صور الوجه الحقيقية منخفضة الجودة. تظهر نتائج التجارب أن النموذج الذي تم تدريبه باستخدام البيانات الصناعية يمكنه ليس فقط إنتاج نتائج ذات دقة عالية أكثر واقعية للإدخالات LQ الصناعية ولكن أيضاً التعميم بشكل أفضل لصور الوجه الطبيعية LQ مقارنة بالأساليب الرائدة. يمكن الوصول إلى الكود في https://github.com/chaofengc/PSFRGAN.