Robuste modellbasierte Gesichtsrekonstruktion durch schwach beschriftete Ausreißersegmentierung

In dieser Arbeit zielen wir darauf ab, die modellbasierte Gesichtsrekonstruktion zu verbessern, indem wir vermeiden, das Modell an Ausreißer anzupassen, also Regionen, die durch das Modell nicht gut beschrieben werden können, wie beispielsweise Verdeckungen oder Make-up. Die zentrale Herausforderung bei der Lokalisierung von Ausreißern besteht darin, dass diese stark variabel sind und schwer zu annotieren. Um dieses anspruchsvolle Problem zu bewältigen, führen wir einen gemeinsamen Ansatz aus Face-Autoencoder und Ausreißer-Segmentierung (FOCUS) ein. Insbesondere nutzen wir die Tatsache aus, dass Ausreißer durch das Gesichtsmodell nicht gut angepasst werden können und daher gut lokalisiert werden können, vorausgesetzt, eine hochwertige Modellanpassung ist gegeben. Die Hauptherausforderung liegt darin, dass die Modellanpassung und die Ausreißer-Segmentierung wechselseitig voneinander abhängen und gemeinsam inferiert werden müssen. Wir lösen dieses „Hühnchen-und-Ei“-Problem mittels eines EM-ähnlichen Trainingsstrategie, bei der ein Gesichts-Autoencoder gemeinsam mit einem Ausreißer-Segmentierungsnetzwerk trainiert wird. Dies führt zu einem synergistischen Effekt: Das Segmentierungsnetzwerk verhindert, dass der Gesichts-Encoder an Ausreißern anpasst, was die Rekonstruktionsqualität verbessert. Die verbesserte 3D-Gesichtsrekonstruktion ermöglicht ihrerseits dem Segmentierungsnetzwerk, die Ausreißer präziser vorherzusagen. Um die Ambiguität zwischen Ausreißern und schwierig anzupassenden Regionen – wie Augenbrauen – zu lösen, bauen wir eine statistische Prior aus synthetischen Daten auf, die den systematischen Bias bei der Modellanpassung misst. Experimente auf dem NoW-Testset zeigen, dass FOCUS die derzeit beste Leistung bei der 3D-Gesichtsrekonstruktion erreicht unter allen Baselines, die ohne 3D-Annotation trainiert wurden. Zudem belegen unsere Ergebnisse auf CelebA-HQ und der AR-Datenbank, dass das Segmentierungsnetzwerk Verdeckungen trotz fehlender Segmentation-Annotationen genau lokalisieren kann.