إكمال الصور باستخدام تلميحات طيفية مُفلترة بشكل غير متجانس

إكمال الصور مع مناطق مفقودة كبيرة وشكل حر هو أحد أكثر المهام تحديًا في مجتمع الرؤية الحاسوبية. وعلى الرغم من جهود الباحثين للحصول على حلول أفضل، تظل عيوب مثل عدم الانتباه إلى الأنماط، والمضاعفات الضبابية في النسيج، والتغيرات في البنية ظاهرة بشكل واضح، مما يترك مجالًا للتحسين. وللتغلب على هذه التحديات، نقترح شبكة جديدة لإكمال الصور تعتمد على StyleGAN، تُسمى SH-GAN (شبكة GAN ذات التلميح الطيفي)، حيث تم دمج وحدة معالجة طيفية مصممة بدقة تُسمى وحدة التلميح الطيفي. كما نقترح استراتيجيتين جديدتين لمعالجة الطيف ثنائي الأبعاد، وهما: التصفية المتنوعة (Heterogeneous Filtering) وتقسيم الجاوس (Gaussian Split)، اللتان تتناسب جيدًا مع النماذج العميقة الحديثة وقد يمكن توسيع استخدامهما لمهام أخرى. من خلال تجاربنا الشاملة، نُظهر أن نموذجنا يمكنه تحقيق درجات FID قدرها 3.4134 و7.0277 على مجموعتي بيانات المعيار FFHQ وPlaces2، وبالتالي يتفوق على الطرق السابقة ويحقق حالة متقدمة جديدة (state-of-the-art). كما نثبت فعالية تصميمنا من خلال دراسات التحليل التجريبي، التي تُظهر بوضوح أن التحديات المذكورة سابقًا، مثل عدم الانتباه إلى الأنماط، والمضاعفات الضبابية في النسيج، والتغيرات في البنية، يمكن حلها بشكل ملحوظ. سيتم إتاحة الكود الخاص بنا مفتوح المصدر عبر الرابط التالي: https://github.com/SHI-Labs/SH-GAN.