Arc2Face: Ein Grundmodell für ID-konsistente menschliche Gesichter

Dieses Papier stellt Arc2Face vor, ein identitätsbedingtes Gesichtsgrundmodell, das in der Lage ist, gegeben dem ArcFace-Embedding einer Person, vielfältige fotorealistische Bilder mit einem unübertroffenen Grad an Gesichtsähnlichkeit im Vergleich zu bestehenden Modellen zu generieren. Trotz früherer Versuche, Gesichtserkennungsmerkmale in detaillierte Bilder zu dekodieren, stellen wir fest, dass gängige Hochauflösung-Datensätze (wie z.B. FFHQ) nicht ausreichend viele Identitäten enthalten, um jedes Subjekt wiederzugeben. Zu diesem Zweck haben wir einen erheblichen Teil der WebFace42M-Datenbank aufgearbeitet und hochskaliert, den größten öffentlich verfügbaren Datensatz für die Gesichtserkennung (FR). Arc2Face basiert auf einem vortrainierten Stable-Diffusion-Modell, passt es aber an die Aufgabe der ID-zu-Gesichts-Generierung an, wobei es ausschließlich auf ID-Vektoren konditioniert wird. Im Gegensatz zu jüngsten Arbeiten, die ID mit Text-Embeddings kombinieren, um textbasierte Bildgenerierungsmodelle für zero-shot-Personalisierung zu nutzen, legen wir den Fokus auf die Kompaktheit von FR-Merkmalen, die das Wesen des menschlichen Gesichts vollständig erfassen können – im Gegensatz zu manuell erstellten Prompts. Entscheidend ist dabei, dass textverstärkte Modelle Schwierigkeiten haben, Identität und Text voneinander zu trennen und oft eine Beschreibung des gegebenen Gesichts benötigen, um eine zufriedenstellende Ähnlichkeit zu erreichen. Arc2Face benötigt jedoch nur die diskriminativen Merkmale von ArcFace zur Generierung und bietet so einen robusten Vorkenntnisprior für eine Vielzahl von Aufgaben, bei denen ID-Konsistenz von entscheidender Bedeutung ist. Als Beispiel trainieren wir ein FR-Modell auf synthetischen Bildern aus unserem Modell und erzielen bessere Leistungen als bestehende synthetische Datensätze.