EdgeConnect: إكمال الصور التوليدية مع تعلم الحواف المعاكسة

خلال السنوات القليلة الماضية، أدت تقنيات التعلم العميق إلى تحسينات كبيرة في مجال إكمال الصور (image inpainting). ومع ذلك، فإن العديد من هذه التقنيات لا تنجح في إعادة بناء الهياكل المنطقية حيث أنها غالبًا ما تكون مفرطة في التسوية و/أو الضبابية. يطور هذا البحث نهجًا جديدًا لإكمال الصور يمكنه القيام بعمل أفضل في إعادة إنتاج المناطق الممتلئة التي تحتوي على تفاصيل دقيقة. نقترح نموذجًا معاديًا ذو مرحلتين يُسمى EdgeConnect يتكون من مولد حواف يتبعه شبكة لإكمال الصورة. يقوم مولد الحواف بإعادة إنتاج حواف المنطقة المفقودة من الصورة (سواء كانت منتظمة أو غير منتظمة)، بينما تقوم شبكة إكمال الصورة بتعبئة المناطق المفقودة باستخدام الحواف المستعادة كمعلومة أولية. قمنا بتقييم نموذجنا بشكل شامل باستخدام مجموعة البيانات العامة CelebA، Places2، وParis StreetView، وأظهرنا أنه يتفوق على التقنيات الرائدة حاليًا بشكل كمي وكيفي. الكود والنماذج متاحة على الرابط: https://github.com/knazeri/edge-connect