Gesichtsausrichtung im vollen Posebereich: Eine 3D-Gesamtlösung

Die Gesichtsausrichtung, die ein Gesichtsmodell einem Bild anpasst und die semantischen Bedeutungen der Gesichtspixel extrahiert, ist ein wichtiges Thema in der Computer Vision-Gemeinschaft. Allerdings sind die meisten Algorithmen für Gesichter in kleinen bis mittleren Posewinkeln (Schwenkwinkel kleiner als 45 Grad) ausgelegt, was ihre Fähigkeit einschränkt, Gesichter in großen Posewinkeln bis zu 90 Grad auszurichten. Die Herausforderungen sind dreifach. Erstens geht das häufig verwendete Landmark-Gesichtsmodell davon aus, dass alle Landmark-Punkte sichtbar sind, und ist daher für große Posewinkel nicht geeignet. Zweitens variiert das Erscheinungsbild des Gesichts bei großen Posewinkeln erheblich stärker, von der Frontansicht bis zur Profilansicht. Drittens ist das Beschriften von Landmark-Punkten bei großen Posewinkeln äußerst schwierig, da unsichtbare Landmark-Punkte geraten werden müssen. In dieser Arbeit schlagen wir einen neuen Ausrichtungsrahmen vor, den 3D Dense Face Alignment (3DDFA), bei dem ein dichtes 3D-Verformbares Modell (3DMM) durch Cascaded Convolutional Neural Networks auf das Bild angepasst wird. Wir nutzen zudem 3D-Informationen, um Gesichtsbilder in Profilansichten zu synthetisieren, um reichhaltige Trainingsbeispiele bereitzustellen. Experimente mit der anspruchsvollen AFLW-Datenbank zeigen, dass der vorgeschlagene Ansatz erhebliche Verbesserungen gegenüber den bisher besten Methoden erzielt.