Command Palette
Search for a command to run...
تمثيل صورة وجوه عالية الجودة باستخدام الشكل التخطيطي الشبكي المتعدد المعاكس
تمثيل صورة وجوه عالية الجودة باستخدام الشكل التخطيطي الشبكي المتعدد المعاكس
Wang Lidan Sindagi Vishwanath A. Patel Vishal M.
الملخص
يُعدّ توليد رسومات وجوه من صور حقيقية والعكس من ذلك تطبيقات متعددة. ومع ذلك، لا يزال توليد الصور أو الرسومات من بعضها البعض مشكلة صعبة نظرًا للخصائص المختلفة بين الصور الحقيقية والرسومات اليدوية. في هذه الدراسة، ننظر إلى هذه المهمة كمشكلة تحويل صورة إلى صورة، ونستكشف النماذج التوليدية الحديثة (مثل الشبكات التوليدية التنافسية GANs) لتوليد صور حقيقية عالية الجودة من الرسومات، وكذلك توليد رسومات من الصور. وقد أظهرت الطرق القائمة على GAN مؤخرًا نتائج واعدة في مجالات تحويل الصور إلى صور، وخاصة في توليد الرسومات من الصور، ولكنها معروفة بقدرتها المحدودة على إنتاج صور حقيقية عالية الدقة. ولحل هذه المشكلة، نقترح إطارًا جديدًا للتركيب يُسمى "توليد الصور والرسومات باستخدام الشبكات التنافسية المتعددة" (PS2-MAN)، الذي يُولّد صورًا من الدقة المنخفضة إلى الدقة العالية بشكل تكراري بطريقة تنافسية. وتُوجَّه الطبقات المخفية للمولّد لبدء إنتاج صور من دقة منخفضة، تليها عملية تحسين ضمنية داخل الشبكة لإنجاز صور ذات دقة أعلى. علاوةً على ذلك، وبما أن توليد الصور والرسومات يُعدّ مشكلة تحويل مترابطة/مُزَوَّجة (paired)، فإننا نستفيد من معلومات الأزواج باستخدام إطار عمل CycleGAN. وتم إجراء تجارب تقييم جودة الصور (IQA) وتجارب مطابقة الصور والرسومات لتوضيح الأداء المتفوق لإطارنا مقارنةً بالحلول الحالية المتميزة في المجال. الكود متوفر على: https://github.com/lidan1/PhotoSketchMAN.