HyperAIHyperAI
منذ 2 أشهر

COCO-GAN: التوليد عن طريق الأجزاء من خلال التنسيق الشرطي

Chieh Hubert Lin; Chia-Che Chang; Yu-Sheng Chen; Da-Cheng Juan; Wei Wei; Hwann-Tzong Chen
COCO-GAN: التوليد عن طريق الأجزاء من خلال التنسيق الشرطي
الملخص

يقتصر تفاعل الإنسان مع البيئة المحيطة جزئيًا بسبب القيود البيولوجية. لذلك، نتعلم كيفية استنتاج العلاقات المكانية من خلال سلسلة من المشاهدات لتكوين صورة متكاملة للبيئة المحيطة. مستوحىً من هذا السلوك ومن حقيقة أن الآلات أيضًا لديها قيود حوسبة، نقترح \underline{CO}nditional \underline{CO}ordinate GAN (COCO-GAN)، حيث يقوم المولد بإنشاء الصور جزءًا بجزء بناءً على إحداثياتها المكانية كشرط. من الناحية الأخرى، يتعلم المنظم تبرير الواقعية عبر الأجزاء المتعددة المجتمعة باستخدام التماسك العالمي والمظهر المحلي والاستمرار عبر الحواف. رغم أنه لا يتم إنشاء الصور الكاملة أبدًا أثناء التدريب، فإننا نوضح أن COCO-GAN يمكنه إنتاج صور كاملة ذات \textbf{جودة رائدة في المجال} أثناء الاستدلال. نقوم أيضًا بعرض مجموعة متنوعة من التطبيقات الجديدة التي تمكّن منها تعليم الشبكة على الوعي بالإحداثيات. أولاً، نقوم بالاستكمال خارج المانيفولد الإحداثي المستفاد منه وإنشاء أجزاء خارج الحدود. عند الجمع بين هذه الأجزاء والصورة الكاملة الأصلية التي تم توليدها، يمكن لـ COCO-GAN إنتاج صور أكبر من عينات التدريب، والتي نطلق عليها "التوليد خارج الحدود". ثم نعرض توليد البانوراما ضمن نظام إحداثي أسطواني يحافظ بشكل فطري على الطوبولوجيا الدورية أفقيًا. من الناحية الحوسبية، لدى COCO-GAN مبدأ تقسيم وغلبة مدمج يقلل من متطلبات الذاكرة أثناء التدريب والاستدلال، ويوفر موازاة عالية ويمكنه توليد أجزاء الصور حسب الطلب.

COCO-GAN: التوليد عن طريق الأجزاء من خلال التنسيق الشرطي | أحدث الأوراق البحثية | HyperAI