ContraGAN: التعلم التبايني لإنشاء الصور الشرطية

التحفيز الصوري الشرطي هو مهمة إنشاء صور متنوعة باستخدام معلومات التصنيف. وعلى الرغم من أن العديد من شبكات التوليد التنافسية الشرطية (GAN) أظهرت نتائج واقعية، فإن هذه الأساليب تأخذ في الاعتبار العلاقات الزوجية بين تمثيل الصورة وتمثيل التصنيف المقابل لها (العلاقات من البيانات إلى التصنيف) كخسارة شرطية. في هذه الورقة، نقترح نموذج ContraGAN الذي يأخذ في الاعتبار العلاقات بين عدة تمثيلات صور داخل نفس الحزمة (العلاقات من البيانات إلى البيانات) فضلاً عن العلاقات من البيانات إلى التصنيف، وذلك باستخدام خسارة تشابه شرطية. يميز المُميّز في ContraGAN أصالة العينات المعطاة، ويقلل من دالة التشابه لتعلم العلاقات بين الصور التدريبية. في الوقت نفسه، يسعى المولّد إلى إنتاج صور واقعية تخدع التحقق من الأصالة، وتحقيق خسارة تشابه منخفضة. أظهرت النتائج التجريبية أن ContraGAN يتفوق على النماذج الرائدة في مجالها بنسبة 7.3% و7.7% على مجموعتي بيانات Tiny ImageNet وImageNet على التوالي. بالإضافة إلى ذلك، نُظهر تجريبيًا أن التعلم التشابهي يساعد في تقليل تأثير التأقلم الزائد (overfitting) في المُميّز. ولضمان مقارنة عادلة، أعدنا تنفيذ اثني عشر نموذجًا رائدًا من شبكات GAN باستخدام مكتبة PyTorch. يمكن الوصول إلى حزمة البرمجيات من خلال الرابط: https://github.com/POSTECH-CVLab/PyTorch-StudioGAN.