الانتباه الدلالي المتماسك لملء الصور

أظهرت أحدث الأساليب المستندة إلى التعلم العميق نتائج واعدة في المهمة الصعبة لإعادة تكوين المناطق المفقودة من صورة. ومع ذلك، فإن الطرق الحالية غالباً ما تولد محتوى بملمس ضبابي وأشكال مشوهة بسبب انقطاع البكسلات المحلية. من وجهة النظر الدلالية، يعود السبب الرئيسي لانقطاع البكسلات المحلية إلى أن هذه الطرق تتجاهل الصلة الدلالية والاتساق الخصائصي لمناطق الثقوب. للتعامل مع هذه المشكلة، قمنا بدراستها بناءً على سلوك الإنسان في إصلاح الصور واقترحنا نهجًا مستندًا إلى نموذج توليد عمق جديد مع طبقة انتباه دلالي متماسك (Coherent Semantic Attention - CSA)، والتي يمكنها ليس فقط الحفاظ على البنية السياقية ولكن أيضاً تحقيق تنبؤات أكثر فعالية للأجزاء المفقودة من خلال نمذجة الصلة الدلالية بين خصائص الثقوب. يتم تقسيم المهمة إلى خطوتين: الخطوة الخامسة والتحسين، ويتم نمذجة كل خطوة باستخدام شبكة عصبية تحت هندسة U-Net، حيث يتم دمج الطبقة CSA في مشفّر (Encoder) الخطوة الثانية. لاستقرار عملية تدريب الشبكة وتعزيز الطبقة CSA على تعلم معلمات أكثر فعالية، اقترحنا خسارة ثبات (Consistency Loss) لفرض قرب كل من الطبقة CSA والطبقة المقابلة لها في الفكير (Decoder) من طبقة الخصائص VGG لصورة حقيقية في الوقت نفسه. أثبتت التجارب على مجموعات البيانات CelebA وPlaces2 وParis StreetView فعالية الأساليب المقترحة لدينا في مهمات إعادة تكوين الصور ويمكن الحصول على صور ذات جودة أعلى بالمقارنة مع أفضل الأساليب المتاحة حاليًا.