HyperAIHyperAI

Command Palette

Search for a command to run...

الانتباه الدلالي المتماسك لملء الصور

Hongyu Liu Bin Jiang Yi Xiao Chao Yang

الملخص

أظهرت أحدث الأساليب المستندة إلى التعلم العميق نتائج واعدة في المهمة الصعبة لإعادة تكوين المناطق المفقودة من صورة. ومع ذلك، فإن الطرق الحالية غالباً ما تولد محتوى بملمس ضبابي وأشكال مشوهة بسبب انقطاع البكسلات المحلية. من وجهة النظر الدلالية، يعود السبب الرئيسي لانقطاع البكسلات المحلية إلى أن هذه الطرق تتجاهل الصلة الدلالية والاتساق الخصائصي لمناطق الثقوب. للتعامل مع هذه المشكلة، قمنا بدراستها بناءً على سلوك الإنسان في إصلاح الصور واقترحنا نهجًا مستندًا إلى نموذج توليد عمق جديد مع طبقة انتباه دلالي متماسك (Coherent Semantic Attention - CSA)، والتي يمكنها ليس فقط الحفاظ على البنية السياقية ولكن أيضاً تحقيق تنبؤات أكثر فعالية للأجزاء المفقودة من خلال نمذجة الصلة الدلالية بين خصائص الثقوب. يتم تقسيم المهمة إلى خطوتين: الخطوة الخامسة والتحسين، ويتم نمذجة كل خطوة باستخدام شبكة عصبية تحت هندسة U-Net، حيث يتم دمج الطبقة CSA في مشفّر (Encoder) الخطوة الثانية. لاستقرار عملية تدريب الشبكة وتعزيز الطبقة CSA على تعلم معلمات أكثر فعالية، اقترحنا خسارة ثبات (Consistency Loss) لفرض قرب كل من الطبقة CSA والطبقة المقابلة لها في الفكير (Decoder) من طبقة الخصائص VGG لصورة حقيقية في الوقت نفسه. أثبتت التجارب على مجموعات البيانات CelebA وPlaces2 وParis StreetView فعالية الأساليب المقترحة لدينا في مهمات إعادة تكوين الصور ويمكن الحصول على صور ذات جودة أعلى بالمقارنة مع أفضل الأساليب المتاحة حاليًا.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp