LatentKeypointGAN: التحكم في الصور عبر النقاط المخفية الرئيسية

حققت شبكات التوليد المتنافسة (GANs) جودة صورية واقعية في توليد الصور. ومع ذلك، فإن كيفية التحكم الأمثل في محتوى الصورة لا تزال تمثل تحديًا مفتوحًا. نقدم LatentKeypointGAN، وهي شبكة GAN ثنائية المرحلة يتم تدريبها بشكل شامل على الهدف التقليدي لـ GAN مع شروط داخلية على مجموعة من النقاط المكانية. تحتوي هذه النقاط على تمثيلات ظاهرية مرتبطة بها تتحكم بشكل منفصل في موقع وأسلوب الأشياء المُنشَأة وأجزائها. أحد الصعوبات الرئيسية التي نعالجها باستخدام هياكل شبكة وخطط تدريب مناسبة هو فصل الصورة إلى عوامل مكانية وظاهرية دون معرفة المجال وإشارات الإشراف. نثبت أن LatentKeypointGAN توفر فضاءًا خفيًا قابل للتفسير يمكن استخدامه لإعادة ترتيب الصور المُنشَأة عن طريق إعادة وضع وتبادل تمثيلات النقاط الرئيسية، مثل إنشاء صور شخصية بدمج العيون والأنف والفم من صور مختلفة. بالإضافة إلى ذلك، يتيح إنشاء النقاط الرئيسية بشكل واضح ومطابقة الصور طريقة جديدة قائمة على GAN للكشف عن النقاط الرئيسية دون إشراف.