التدفق الشرطي الهرمي: إطار موحد لزيادة دقة الصور وإعادة تغيير حجمها

أظهرت التدفقات المُعَمَّمة (Normalizing Flows) مؤخرًا نتائج واعدة في مهام الرؤية منخفضة المستوى. بالنسبة لزيادة دقة الصور (SR)، فإنها تتعلم التنبؤ بصور ذات دقة عالية (HR) متعددة ومتوافقة مع الواقع الفوتوغرافي من صورة ذات دقة منخفضة (LR)، بدلاً من تعلم خريطة حتمية. وفيما يتعلق بإعادة تغيير حجم الصور، فإنها تحقق دقة عالية من خلال نمذجة عمليات التصغير والتكبير بشكل مشترك. بينما تعتمد النهج الحالية تقنيات متخصصة لهذه المهمتين، فقد قمنا بوضعهما في صيغة موحدة. في هذا البحث، نقترح الإطار الموحد للتدفق الشرطي الهرمي (HCFlow) لمهام زيادة دقة الصور وإعادة تغيير حجم الصور. وبشكل أكثر تحديدًا، يتعلم HCFlow خريطة ثنائية الاتجاه بين أزواج الصور HR وLR بنمذجة توزيع الصورة LR والمكون عالي التردد المتبقِّي في آنٍ واحد. وبشكل خاص، يكون المكون عالي التردد شرطيًا على الصورة LR بطريقة هرمية. لتعزيز الأداء بشكل أكبر، يتم الجمع بين خسائر أخرى مثل الخسارة الإدراكية (Perceptual Loss) وخسارة الشبكة المولدة التنافسية (GAN Loss) مع الخسارة السالبة للمُحَدِّد اللوغاريتمي التي يتم استخدامها بشكل شائع أثناء التدريب. أثبتت التجارب الواسعة على زيادة دقة الصور العامة وصور الوجوه وإعادة تغيير حجم الصور أن HCFlow المقترح يحقق أفضل الأداء بمقياس المؤشرات الكمية وجودة العرض البصرية.