Few-Shot Adversarische Lernmethoden für Realistische Neuronale Talking-Head-Modelle

Mehrere kürzliche Arbeiten haben gezeigt, wie hochrealistische Bilder von menschlichen Köpfen durch das Training von Faltungsneuronalen Netzen (Convolutional Neural Networks) generiert werden können. Um ein personalisiertes sprechendes Kopfmodell zu erstellen, erfordern diese Arbeiten das Training auf einem großen Datensatz von Bildern einer einzelnen Person. In vielen praktischen Szenarien müssen jedoch solche personalisierten sprechenden Kopfmodelle aus wenigen Bildansichten einer Person gelernt werden, potentiell sogar aus einem einzelnen Bild. Hier präsentieren wir ein System mit dieser Few-Shot-Fähigkeit. Es führt ein umfangreiches Meta-Lernen auf einem großen Datensatz von Videos durch und ist danach in der Lage, das Few- und One-Shot-Lernen von neuronalen sprechenden Kopfmodellen unbekannter Personen als adversariale Trainingsprobleme mit hochkapazitätsgeneratoren und -diskriminatoren zu formulieren. Entscheidend ist, dass das System die Parameter sowohl des Generators als auch des Diskriminators auf eine personenspezifische Weise initialisieren kann, sodass das Training auf Basis nur weniger Bilder schnell durchgeführt werden kann, trotz der Notwendigkeit, Tausende von Millionen von Parametern anzupassen. Wir zeigen, dass dieser Ansatz in der Lage ist, hochrealistische und personalisierte sprechende Kopfmodelle neuer Personen sowie sogar Porträtmalereien zu lernen.