إنشاء الصور من التخطيط والنمط القابلين لإعادة التكوين

رغم التقدم الملحوظ الذي تحقق مؤخرًا في مجال توليد الصور غير المشروطة والمشروطة، فإن مشكلة طويلة الأمد لا تزال قائمة وهي تعلم نماذج جenerative قادرة على إنتاج صور واقعية وواضحة من تخطيط فضائي قابل لإعادة التكوين (أي، مربعات الحدود + علامات الفئات في شبكة الصورة) وأسلوب (أي، التغيرات الهيكلية والشكلية المُشفرة بواسطة المتجهات الكامنة)، خاصة عند الدقة العالية. بمعنى قابل لإعادة التكوين، يُقصد أن النموذج يمكنه الحفاظ على الخريطة الداخلية من واحد إلى العديد من التخطيط المعطى إلى صور محتملة متعددة بأساليب مختلفة، وأن يكون متكيفًا مع الاضطرابات في التخطيط والرمز الكامن للأسلوب. في هذا البحث، نقدم هندسة قائمة على التخطيط والأسلوب لشبكات المواجهة الجenerative (وتُسمى LostGANs) يمكن تدريبها بطريقة شاملة لتوليد صور من تخطيط وأسلوب قابلين لإعادة التكوين. مستوحاة من StyleGAN الأصلي، تتكون الشبكة المقترحة LostGAN من مكونين جديدين: (i) تعلم خرائط الأقنعة الدقيقة بطريقة شبه مراقبة لتقريب الفجوة بين التخطيطات والصور، و (ii) تعلم تنميط السمات الخاصة بكل كائن مع الوعي بالتخطيط في المولد لتحقيق توليد أسلوب متعدد الكائنات. في التجارب، تم اختبار الطريقة المقترحة على مجموعة بيانات COCO-Stuff ومجموعة بيانات Visual Genome مع الحصول على أداء رائد. الرمز البرمجي والنماذج المدربة مسبقًا متاحان على الرابط \url{https://github.com/iVMCL/LostGANs}.