3FabRec: توجيه الوجه بقليل من الأمثلة بسرعة من خلال إعادة البناء

تتطلب الطرق المراقبة الحالية لتحديد نقاط الوجه (facial landmark detection) كميات كبيرة من البيانات التدريبية، وقد تعاني من التكيف الزائد (overfitting) مع مجموعات بيانات محددة نظرًا للعدد الهائل من المعلمات. نقدم طريقة شبه مراقبة، حيث يكمن الفكرة الجوهرية في إنشاء معرفة غير مباشرة حول الوجوه من كميات هائلة من الصور غير المُعلَّمة للوجوه المتاحة حاليًا. في المرحلة الأولى، التي تتم بالكامل دون مراقبة، نُدرّب مُشفّرًا مُعاكسًا (adversarial autoencoder) لإعادة بناء الوجوه من خلال تمثيل وجوه منخفض الأبعاد (low-dimensional face embedding). وفي المرحلة الثانية، المراقبة، نُدمج مُفكّك (decoder) مع طبقات نقل (transfer layers) لتحويل عملية إنشاء الصور الملونة إلى توقع خرائط الحرارة الخاصة بنقاط الوجه (landmark heatmaps). يحقق إطارنا (3FabRec) أداءً متقدمًا على العديد من المعايير الشائعة، والأهم من ذلك، يتمكن من الحفاظ على دقة ممتازة حتى على مجموعات تدريب صغيرة جدًا، تصل إلى 10 صور فقط. وبما أن الطبقات المُدمجة تضيف كمية ضئيلة جدًا من المعلمات إلى المُفكّك، فإن عملية الاستنتاج (inference) تتم بسرعة تصل إلى مئات الإطارات في الثانية (FPS) على وحدة معالجة الرسوميات (GPU).