تعزيز نماذج التوليد عالية الدقة القائمة على التدفق من خلال قبل متعلم

أظهرت نماذج التكبير القائم على التدفق (Flow-based super-resolution) قدرات مذهلة في إنتاج صور عالية الجودة. ومع ذلك، تواجه هذه الطرق عدة تحديات أثناء توليد الصور، مثل ظهور عيوب شبكيّة (grid artifacts)، وانفجارات في القيم العكسية (exploding inverses)، ونتائج غير مثلى ناتجة عن درجة حرارة عينة ثابتة. لتجاوز هذه المشكلات، قمنا في هذا العمل بدمج سبق متعلم شرطي في مرحلة الاستنتاج لنموذج التكبير القائم على التدفق. يُمثل هذا السبق رمزًا خفيًا (latent code) يتم توقعه بواسطة وحدتنا الخفية المُقترحة، والتي تُشَرَّط بناءً على الصورة منخفضة الدقة، ثم يتم تحويله بواسطة نموذج التدفق إلى صورة عالية الدقة. تم تصميم إطارنا بطريقة تسمح بدمجه بسلاسة مع أي نموذج حديث قائم على التدفق دون الحاجة إلى تعديل بنية النموذج أو أوزانه المُدرَّبة مسبقًا. قمنا بتقييم فعالية الإطار المقترح من خلال تجارب واسعة وتحليلات استبدالية (ablation analyses). وقد أظهر الإطار المقترح نجاحًا في التغلب على جميع المشكلات الجوهرية في نماذج التكبير القائمة على التدفق، وتحسين أدائها في مختلف سيناريوهات التكبير. يمكن الوصول إلى الكود الخاص بنا من خلال: https://github.com/liyuantsao/BFSR