Démêler la posture 3D dans un CNN dendritique pour l'alignement facial 2D non contraint

La régression de cartes thermiques (heatmaps) est utilisée depuis plusieurs années pour la localisation de points d'intérêt (landmarks). La plupart des méthodes emploient une pile très profonde de modules en goulot d'étranglement (bottleneck) pour la phase de classification des cartes thermiques, suivie d'une régression de ces cartes pour extraire les points clés. Dans cet article, nous présentons un réseau neuronal convolutif dendritique unique, dénommé Réseau Neuronal Convolutif Dendritique Conditionné par la Posture (PCD-CNN), où un réseau de classification est suivi par un deuxième réseau de classification modulaire, formé de manière end-to-end pour obtenir des points d'intérêt précis. En suivant une formulation bayésienne, nous dissocions explicitement la posture 3D d'une image faciale en conditionnant l'estimation des points d'intérêt sur la posture, ce qui le distingue des approches multitâches. Des expériences approfondies montrent que la conditionnement sur la posture réduit l'erreur de localisation en rendant celle-ci indépendante de la posture du visage. Le modèle proposé peut être étendu pour produire un nombre variable de points d'intérêt, élargissant ainsi son application à d'autres jeux de données. Au lieu d'augmenter la profondeur ou la largeur du réseau, nous formons efficacement le CNN avec une perte Mask-Softmax et une extraction d'échantillons difficiles (hard sample mining) pour atteindre une réduction jusqu'à 15 % de l'erreur par rapport aux méthodes les plus avancées actuellement disponibles, notamment pour les images faciales à postures extrêmes et moyennes issues de jeux de données difficiles tels que AFLW, AFW, COFW et IBUG.