Die Entwirrung der 3D-Pose in einem dendritischen CNN für die unbeschränkte 2D-Gesichtsausrichtung

Die Heatmap-Regression wird seit einiger Zeit für die Landmark-Lokalisierung eingesetzt. Die meisten Methoden verwenden einen sehr tiefen Stapel von Bottleneck-Modulen für die Heatmap-Klassifikationsstufe, gefolgt von einer Heatmap-Regression zur Extraktion der Keypoints. In dieser Arbeit stellen wir ein einzelnes dendritisches CNN vor, das als Pose Conditioned Dendritic Convolutional Neural Network (PCD-CNN) bezeichnet wird. Hier folgt auf ein Klassifikationsnetzwerk ein zweites, modulares Klassifikationsnetzwerk, das in einem End-to-End-Prozess trainiert wird, um genaue Landmark-Punkte zu erzielen. Unter Verwendung einer bayesianischen Formulierung entkoppeln wir die 3D-Pose eines Gesichtsbildes explizit, indem wir die Landmark-Schätzung von der Pose abhängig machen, was es von Mehrfachaufgabenansätzen unterscheidet. Umfangreiche Experimente zeigen, dass die Bedingung auf die Pose den Lokalisierungsfehler durch Unempfindlichkeit gegenüber der Gesichtspose reduziert. Das vorgeschlagene Modell kann erweitert werden, um eine variable Anzahl von Landmark-Punkten zu liefern und somit seine Anwendbarkeit auf andere Datensätze zu erweitern. Anstatt die Tiefe oder Breite des Netzes zu erhöhen, trainieren wir das CNN effizient mit Mask-Softmax-Loss und dem Mining schwieriger Beispiele, um einen Fehlerreduktionsgrad von bis zu 15 % im Vergleich zu den besten bisher bekannten Methoden für Gesichtsbilder mit extremen und mittleren Posen aus anspruchsvollen Datensätzen wie AFLW, AFW, COFW und IBUG zu erreichen.