تعلم التنبؤ بالتحويلات التلافيفية الشرطية من التخطيط إلى الصورة لتخليق الصور المعنوية

تهدف التوليد الصوري المعنوي إلى إنتاج صور واقعية بصريًا من تخطيطات معنوية. أظهرت الأساليب السابقة التي تعتمد على الشبكات التوليدية التنافسية الشرطية (GAN) أداءً متفوقًا على هذا المهمة، حيث تُدخل خرائط التسميات المعنوية كمدخلات إلى المولّد، أو تُستخدم لتغيير التنشيطات في طبقات التطبيع من خلال تحويلات تآلفية. نحن نجادل بأن نوى الترسيم التوافقيّة في المولّد ينبغي أن تكون على دراية بالعلامات المعنوية المختلفة في المواقع المختلفة عند توليد الصور. ولتحسين استغلال التخطيط المعنوي من قبل مولّد الصور، نقترح توقع نوى الترسيم التوافقيّة مشروطةً بخريطة التسميات المعنوية، بهدف توليد خرائط الميزات الوسيطة من خرائط الضوضاء، ومن ثم توليد الصور. علاوةً على ذلك، نقترح مُميّزًا يعتمد على هندسة هرمية للميزات وتمثيلًا معنويًا، وهو أكثر فعالية في تعزيز التفاصيل الدقيقة والتوافق المعنوي بين الصور المولّدة والتخطيطات المعنوية المدخلة مقارنةً بالمحقّقين متعددي المقياس السابقين. وقد حققنا نتائج متميزة على المستويات الكمية والتقييم الذاتي على مختلف مجموعات بيانات التصنيف المعنوي، مما يُظهر فعالية نهجنا.