ImFace: Ein nichtlineares 3D morphables Gesichtsmodell mit impliziten neuronalen Darstellungen

Präzise Darstellungen von 3D-Gesichtern sind für zahlreiche Anwendungen im Bereich des Computersehens und der Computergrafik von großem Nutzen. Aufgrund der Datendiskretisierung und der Linearität der Modelle bleibt es jedoch herausfordernd, in aktuellen Studien genaue Identitäts- und Ausdrucksmerkmale zu erfassen. In dieser Arbeit präsentieren wir ein neuartiges 3D-morphables Gesichtsmodell namens ImFace, das einen nichtlinearen und kontinuierlichen Raum mittels impliziter neuronaler Darstellungen lernt. Es etabliert zwei explizit entkoppelte Verformungsfelder, um jeweils komplexe Formen im Zusammenhang mit Identität und Ausdruck zu modellieren, und entwickelt eine verbesserte Lernstrategie, um die Ausdrucksdarstellungen zu erweitern und somit vielfältigere Veränderungen zu ermöglichen. Weiterhin führen wir ein Neural Blend-Field ein, das feine Details durch adaptives Mischen einer Reihe lokaler Felder lernt. Neben ImFace wird ein effektives Vorverarbeitungs-Pipeline vorgeschlagen, um das Problem der wasserdichten Eingabeanforderung bei impliziten Darstellungen zu lösen und diese erstmals mit gängigen Gesichtsoberflächen kompatibel zu machen. Um die Überlegenheit von ImFace zu demonstrieren, werden umfangreiche Experimente durchgeführt.