Gemeinsame Voxel- und Koordinatenregression für genaue 3D-Gesichtspunkte lokalisation

Die 3D-Gesichtsform ist ausdrucksstärker und konsistenter in Bezug auf die Betrachtungsperspektive als ihre 2D-Gegenstücke. Allerdings ist die 3D-Lokalisierung von Gesichtslandmarken in einem einzelnen Bild aufgrund der unsicheren Natur der Landmarken unter 3D-Perspektive herausfordernd. Bestehende Ansätze verwenden in der Regel eine suboptimale zweistufige Strategie, bei der zunächst eine 2D-Lokalisierung der Landmarken durchgeführt wird, gefolgt von einer Tiefenschätzung. In dieser Arbeit schlagen wir die Methode „Joint Voxel and Coordinate Regression (JVCR)“ für die 3D-Lokalisierung von Gesichtslandmarken vor, die dieses Problem effektiver in einem end-to-end-Prozess löst.Zunächst wird ein kompaktes volumetrisches Modell vorgeschlagen, um die Wahrscheinlichkeit jeder Voxel-Position als 3D-Landmarke zu kodieren. Die Dimensionalität dieser Darstellung ist unabhängig von der Anzahl der Ziel-Landmarken, sodass das Problem der Dimensionsfluch vermieden werden kann. Anschließend wird ein stapelnetzartiges Hourglass-Netzwerk verwendet, um die volumetrische Darstellung von grob zu fein zu schätzen. Dies wird durch ein 3D-Faltungss Netzwerk ergänzt, das das geschätzte Volumen als Eingabe verwendet und die 3D-Koordinaten der Gesichtsform regressiert. Auf diese Weise können die neuronalen Netze die räumlichen Restriktionen zwischen den Landmarken effizienter lernen.Darüber hinaus ermöglicht der vorgeschlagene Prozess ein end-to-end-Training und verbessert die Robustheit und Genauigkeit der 3D-Lokalisierung von Gesichtslandmarken. Die Wirksamkeit unseres Ansatzes wurde anhand der Datensätze 3DFAW und AFLW2000-3D überprüft. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Methode im Vergleich zu bestehenden Methoden Spitzenleistungen erzielt.