StyleFlow لتحويل الصور إلى صور مع الحفاظ على المحتوى

التحويل من صورة إلى صورة (I2I) يُعد موضوعًا صعبًا في رؤية الحاسوب. نقسّم هذه المشكلة إلى ثلاث مهام: التحويل المُحدَّد بشكل قوي، والتحويل المُحدَّد بشكل طبيعي، والتحويل المُحدَّد بشكل ضعيف. يشير المُحدِّد هنا إلى مدى الحفاظ على المحتوى أو المعلومات الدلالية في الصورة الأصلية. وعلى الرغم من أن الطرق السابقة حققت أداءً جيدًا في المهام ذات التحديد الضعيف، إلا أنها فشلت في الحفاظ الكامل على المحتوى في المهام ذات التحديد القوي والطبيعي، بما في ذلك تركيب الصور الواقعية، ونقل الأسلوب، وتحديث الألوان، وغيرها. ولتحقيق نقل محتوى محفوظ في المهام ذات التحديد القوي والطبيعي، نقترح نموذج I2I الجديد "StyleFlow"، الذي يتكوّن من تدفقات تطبيع (Normalizing Flows) ووحدة جديدة تُسمى "التناظر المُدرَك للأسلوب" (Style-Aware Normalization - SAN). وبفضل هيكل الشبكة القابلة للعكس، يقوم StyleFlow أولاً بتحويل الصور المدخلة إلى فضاء الميزات العميقة في المرحلة الأمامية، ثم تُستخدم وحدة SAN في المرحلة العكسية لإجراء تحويل ميزات ثابتة المحتوى، قبل إعادة التمثيل إلى فضاء الصورة. يدعم نموذجنا التحويل المُوجَّه بالصورة، كما يدعم التوليد متعدد النماذج. وقد تم تقييم نموذجنا في عدة معايير لتحويل I2I، وأظهرت النتائج أن النموذج المقترح يتفوق على الطرق السابقة في كل من المهام ذات التحديد القوي والطبيعي.