HyperAIHyperAI

Command Palette

Search for a command to run...

CR-Fill: ترميم صور توليدي بناءً على إعادة بناء سياقي مساعد

Vishal M. Patel Huchuan Lu Zhe Lin Yu Zeng

الملخص

تستخدم الطرق الحديثة للإكمال التوليدي العميق طبقات الانتباه لتمكين المولّد من سحب بقع مميزة بشكل صريح من المناطق المعروفة لإكمال المنطقة المفقودة. وبسبب انعدام إشارات المراقبة للتوافق بين المناطق المفقودة والمناطق المعروفة، قد يفشل النظام في العثور على ميزات مرجعية مناسبة، مما يؤدي غالبًا إلى ظهور تشوهات في النتائج. بالإضافة إلى ذلك، يُحسب التشابه الزوجي عبر الخريطة المميزة بأكملها أثناء الاستدلال، مما يُسبب عبئًا حسابيًا كبيرًا. لمعالجة هذه المشكلة، نقترح تعليم سلوك سحب البُقع إلى مولّد خالٍ من الانتباه من خلال تدريب مشترك لمهام إعادة بناء سياقية مساعدة، والتي تشجع المخرجات المولّدة على أن تكون معقولة حتى عند إعادة بنائها باستخدام المناطق المحيطة. يمكن اعتبار الفرع المساعد كدالة خسارة قابلة للتعلم، ويُسمّى بـ "خسارة إعادة البناء السياقي (CR loss)"، حيث يتم تحسين التشابه بين الميزات الاستعلامية والمرجعية والمُعيد بناء المُستند إلى المراجع بشكل مشترك مع مولّد الإكمال. يُطلب الفرع المساعد (أي خسارة CR) فقط أثناء التدريب، بينما يُستخدم فقط مولّد الإكمال أثناء الاستدلال. تُظهر النتائج التجريبية أن النموذج المُقترح يتفوّق على أحدث النماذج من حيث الأداء الكمي والبصري. يمكن الوصول إلى الكود عبر الرابط: https://github.com/zengxianyu/crfill.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp