Zweistufige Faltungs-Teil-Wärmekartenregression für die 1. Herausforderung zur 3D-Gesichtsausrichtung in der Wildbahn (3DFAW)

Dieses Papier beschreibt unsere Einreichung für die 1. Herausforderung zur 3D-Gesichtsausrichtung im Freien (3DFAW). Unser Verfahren basiert auf der Idee der Faltungs-Teilwärmebildregression [1] und erweitert diese für die 3D-Gesichtsausrichtung. Unser Verfahren zerlegt das Problem in zwei Teile: (a) X,Y (2D)-Schätzung und (b) Z (Tiefe)-Schätzung. Im ersten Schritt schätzt unser Verfahren die X,Y-Koordinaten der Gesichtspunkte, indem es eine Reihe von 2D-Wärmebildern erstellt, eines für jeden Landmark, unter Verwendung der Faltungs-Teilwärmebildregression. Anschließend werden diese Wärmebilder zusammen mit dem Eingabebild im RGB-Format als Eingabe für ein sehr tiefes Unterwerk verwendet, das durch residuelles Lernen trainiert wurde, um die Z-Koordinate zu regressieren. Unser Verfahren belegte den 1. Platz bei der 3DFAW-Herausforderung und übertraf das zweitbeste Ergebnis um mehr als 22 %.