تفكيك الوضع ثلاثي الأبعاد في شبكة CNN الشجرية لمحاذاة الوجه ثنائي الأبعاد بدون قيود

تم استخدام الانحدار الحراري (Heatmap regression) في تحديد المعالم (landmark localization) لفترة طويلة الآن. تستخدم معظم الطرق كومة عميقة من الوحدات الضيقة (bottleneck modules) في مرحلة تصنيف الخرائط الحرارية، تليها عملية الانحدار الحراري لاستخراج النقاط الرئيسية (keypoints). في هذا البحث، نقدم شبكة دندرونية مفردة للشبكات العصبية الم convoledة، والتي أطلقنا عليها اسم شبكة Pose Conditioned Dendritic Convolutional Neural Network (PCD-CNN)، حيث يتبع شبكة التصنيف شبكة تصنيف ثانية وقابلة للتحوير، يتم تدريبها بطريقة شاملة من النهاية إلى النهاية للحصول على نقاط معالم دقيقة. وفقًا لصياغة بيزية (Bayesian formulation)، نفصل وضع الوجه ثلاثي الأبعاد بشكل صريح عن طريق شرط تقدير المعالم على وضع الوجه، مما يجعله مختلفًا عن نهج المهام المتعددة. تظهر التجارب الواسعة أن الشرط على الوضع يقلل من خطأ تحديد الموقع بجعله غير متأثر بوضع الوجه. يمكن توسيع النموذج المقترح لإنتاج عدد متغير من نقاط المعالم، مما يوسع نطاق تطبيقه على مجموعات بيانات أخرى. بدلاً من زيادة عمق أو عرض الشبكة، نقوم بتدريب CNN بكفاءة باستخدام خسارة Mask-Softmax Loss والتعدين الصعب للمواصفات (hard sample mining) لتحقيق تخفيض يصل إلى 15٪ في الخطأ مقارنة بأحدث الأساليب لصور الوجوه ذات الأوضاع القصوى والمتوسطة من مجموعات بيانات صعبة مثل AFLW و AFW و COFW و IBUG.