مُميّز مُستند إلى U-Net لشبكات التوليد التنافسية

من بين التحديات الرئيسية المتبقية في الشبكات التوليدية التنافسية (GANs) قدرة توليد صور متماسكة عالميًا ومحليًا، ذات أشكال كائنات ونسيج لا يمكن تمييزها عن الصور الحقيقية. وللتعامل مع هذه المشكلة، نقترح معمارية بديلة لمحرّك (discriminator) تعتمد على نموذج U-Net، مستفيدة من رؤى متاحة في مجال التصنيف التصوري (segmentation). تتيح المعمارية المقترحة، التي تعتمد على U-Net، تقديم تغذية راجعة تفصيلية على مستوى كل بكسل للمولّد (generator)، مع الحفاظ على التماسك العالمي للصور المولدة، وذلك من خلال توفير تغذية راجعة عالمية للصورة أيضًا. وبفضل الاستجابة على مستوى كل بكسل التي يوفرها المحرّك، نقترح أيضًا تقنية تنظيم اتساق على مستوى كل بكسل تعتمد على تقنية تكبير البيانات CutMix، مما يشجع المحرّك U-Net على التركيز بشكل أكبر على التغيرات الدلالية والهيكلية بين الصور الحقيقية والمضللة. يؤدي هذا إلى تحسين تدريب محرّك U-Net، وبالتالي يعزز جودة العينات المولدة. وتحسّن المعمارية الجديدة المحرّك مقارنةً بأفضل النماذج الحالية من حيث مقاييس التوزيع القياسي وجودة الصورة، مما يمكّن المولّد من إنتاج صور ذات هيكل وملامح ومستويات تفاصيل مختلفة، مع الحفاظ على الواقعية العالمية والمحليّة. مقارنةً بالنموذج الأساسي BigGAN، نحقق متوسط تحسن قدره 2.7 نقطة في مؤشر FID على مجموعات بيانات FFHQ وCelebA والبيانات الجديدة COCO-Animals. يُمكن الاطلاع على الكود على الرابط: https://github.com/boschresearch/unetgan.