„Schaut ma, keine Landmarken!“ – Unsupervised, modellbasierte dichte Gesichtsalignierung

„Keine Landmarken!“ – Unüberwachte, modellbasierte dichte GesichtsalignierungIn diesem Artikel zeigen wir, wie man ein Bild-zu-Bild-Netzwerk trainiert, um dichte Korrespondenzen zwischen einem Gesichtsbild und einem 3D-Morphable-Modell allein anhand des Modells zur Supervision vorherzusagen. Wir demonstrieren, dass sowohl geometrische Parameter (Form, Pose und Kamerainternale) als auch photometrische Parameter (Textur und Beleuchtung) direkt aus der Korrespondenzkarte mittels linearer Ausgleichsrechnung und unserem neuartigen inversen Sphärischen-Harmonischen-Beleuchtungsmodell abgeleitet werden können. Die Residuen der Ausgleichsrechnung liefern ein unsupervisiertes Trainingsignal, das es uns ermöglicht, typische Artefakte aus der Literatur wie Schrumpfung und konservative Unteranpassung zu vermeiden. Unser Ansatz verwendet ein Netzwerk, das zehnmal kleiner ist als Parameter-Regression-Netzwerke, reduziert signifikant die Empfindlichkeit gegenüber Bildalignment und erlaubt die Integration bekannter Kamerakalibrierung oder Mehrbildbeschränkungen während der Inferenz. Wir erzielen Ergebnisse, die mit dem Stand der Technik konkurrieren, ohne dass vorherige Methoden zusätzliche Supervision benötigen.