Regressieren robuster und diskriminativer 3D-Morphable-Modelle mit einem sehr tiefen Neuronalen Netzwerk

Die dreidimensionalen Formen von Gesichtern sind bekannt für ihre Diskriminativität. Trotzdem werden sie selten für die Gesichtserkennung verwendet und immer nur unter kontrollierten Betrachtungsbedingungen. Wir argumentieren, dass dies ein Symptom eines ernsten, aber oft übersehenen Problems bei den bestehenden Methoden zur 3D-Gesichtsrekonstruktion aus einer einzigen Ansicht ist: Wenn diese Methoden "im Wild" angewendet werden, sind ihre 3D-Schätzungen entweder instabil und ändern sich für verschiedene Fotos desselben Subjekts oder sie sind überreguliert und generisch. Als Reaktion darauf beschreiben wir eine robuste Methode zur Regression diskriminativer 3D-morphologischer Gesichtsmodelle (3DMM). Wir verwenden ein Faltungsneuronales Netzwerk (CNN), um die 3DMM-Form- und Texturparameter direkt aus einem Eingangsfoto zu regredieren. Um das Mangel an Trainingsdaten für diesen Zweck zu überwinden, bieten wir eine Methode an, mit der riesige Mengen von etikettierten Beispielen generiert werden können. Die durch unser CNN erzeugten 3D-Schätzungen übertreffen die Stand der Technik in Bezug auf Genauigkeit im MICC-Datensatz. In Verbindung mit einem Pipeline zur 3D-3D-Gesichtsmatching zeigen wir die ersten wettbewerbsfähigen Ergebnisse in den Benchmarks LFW, YTF und IJB-A, bei denen 3D-Gesichtsformen als Darstellungen verwendet werden, anstelle der opaken tiefen Merkmalsvektoren, die von anderen modernen Systemen genutzt werden.