الشبكات العصبية التحويلية: فك تشابك الشكل والمظهر بطريقة غير مراقبة

في هذا العمل، نقدم مُشَكِّلات الترميز الذاتي (Deforming Autoencoders)، وهي نموذج توليدي للصور يفصل الشكل عن المظهر بطريقة غير مراقبة. كما هو الحال في نموذج القالب القابل للتغيير، يتم تمثيل الشكل كتشوه بين نظام إحداثي قياسي ("قالب") والصورة المشاهدة، بينما يتم نمذجة المظهر في الإحداثيات "القياسية"، مما يلغي التباين الناجم عن التشوهات. نقدم تقنيات جديدة تسمح بتطبيق هذا النهج في إطار الترميز الذاتي ونوضح أن هذه الطريقة يمكن استخدامها لمحاذاة الصور بشكل جماعي وغير مراقب. نعرض تجارب حول تحويل التعبيرات في الوجوه والايدي والأرقام، وكذلك التلاعب بالوجه مثل فصل الشكل والمظهر وإيجاد نقاط العلامات الرئيسية بطريقة غير مراقبة. يصبح من الممكن تحقيق شكل أكثر قوة من الفصل غير المراقب في الإحداثيات القالبية، مما يتيح لنا فصل صور الوجوه بنجاح إلى الظل والألبدو (albedo) وإجراء المزيد من التلاعب بصور الوجوه.