تضمين الوجه بين الأنواع الكثيف

يُعدّ التضمين الوجهى المتداخل بين الأنواع (DIFE) اتجاهًا جديدًا لفهم الوجوه المختلفة بين الحيوانات من خلال استخلاص السمات المشتركة بين وجوه الحيوانات، بما في ذلك الوجه البشري. تُمثل ثلاث عقبات رئيسية أمام فهم الوجوه بين الأنواع: (1) نقص البيانات المتعلقة بالحيوانات مقارنة بالبشر، (2) الاتصال الغامض بين وجوه الأنواع المختلفة، و(3) التباين الشديد في الشكل والأسلوب. لمعالجة نقص البيانات، نستخدم تقنية نقل المعرفة من عدة معلمين (Multi-teacher Knowledge Distillation) مع نموذج CSE وStyleGAN2 دون الحاجة إلى بيانات إضافية أو تسميات. ثم نُولّد صورًا افتراضية مزدوجة من خلال استكشاف الفضاء المُستمد (Latent Space) في StyleGAN2 للكشف عن الروابط الضمنية بين وجوه الحيوانات المختلفة. وأخيرًا، نُقدّم خسارة التوافق الدلالي (Semantic Matching Loss) لتجاوز مشكلة التباين الشديد في الشكل بين الأنواع. ولتقييم منهجنا كمّيًا مقارنةً بالأساليب السابقة مثل اكتشاف النقاط الرئيسية غير المُعلَّمة، نُجري نقل النقاط الرئيسية الوجهية بين الأنواع على مجموعتي بيانات MAFL وAP-10K. بالإضافة إلى ذلك، نُقدّم نتائج تطبيقات أخرى مثل تلاعب صور الوجوه بين الأنواع ونقل النقاط الرئيسية الكثيفة. يمكن الوصول إلى الكود عبر الرابط: https://github.com/kingsj0405/dife.