DAD-3DHeads: Ein großflächiges, dichtes, genaues und vielfältiges Datensatz für die 3D-Kopfalignierung aus einer einzelnen Bildaufnahme

Wir präsentieren DAD-3DHeads, ein dichtes und vielfältiges großskaliges Datenset, sowie ein robustes Modell für die 3D-dichte Kopfalignierung im Freien. Es enthält Annotationen von über 3.500 Landmarken, die die 3D-Kopfform im Vergleich zu Referenzscans präzise repräsentieren. Das datengetriebene Modell DAD-3DNet, das auf unserem Datenset trainiert wurde, lernt Form-, Ausdrucks- und Pose-Parameter und führt die 3D-Rekonstruktion eines FLAME-Netzwerks durch. Zudem integriert das Modell einen Landmarkenprädiktionszweig, um die reichhaltige Supervision und das kooperative Training mehrerer verwandter Aufgaben zu nutzen. Experimentell übertrifft DAD-3DNet oder erreicht die Leistungsfähigkeit der derzeit besten Modelle bei (i) der 3D-Kopfpitch-Schätzung auf AFLW2000-3D und BIWI, (ii) der 3D-Gesichtsform-Rekonstruktion auf NoW und Feng sowie (iii) der 3D-dichten Kopfalignierung und der 3D-Landmarken-Schätzung auf dem DAD-3DHeads-Datenset. Schließlich ermöglicht die Vielfalt von DAD-3DHeads hinsichtlich Kamerawinkel, Gesichtsausdrücken und Verdeckungen einen Benchmark zur Untersuchung der Generalisierbarkeit im Freien und der Robustheit gegenüber Verteilungsverschiebungen. Die Datenset-Webseite ist unter https://p.farm/research/dad-3dheads erreichbar.