HyperAIHyperAI

Command Palette

Search for a command to run...

Few-Shot Adversarische Lernmethoden für Realistische Neuronale Talking-Head-Modelle

Egor Zakharov Aliaksandra Shysheya Egor Burkov Victor Lempitsky

Zusammenfassung

Mehrere kürzliche Arbeiten haben gezeigt, wie hochrealistische Bilder von menschlichen Köpfen durch das Training von Faltungsneuronalen Netzen (Convolutional Neural Networks) generiert werden können. Um ein personalisiertes sprechendes Kopfmodell zu erstellen, erfordern diese Arbeiten das Training auf einem großen Datensatz von Bildern einer einzelnen Person. In vielen praktischen Szenarien müssen jedoch solche personalisierten sprechenden Kopfmodelle aus wenigen Bildansichten einer Person gelernt werden, potentiell sogar aus einem einzelnen Bild. Hier präsentieren wir ein System mit dieser Few-Shot-Fähigkeit. Es führt ein umfangreiches Meta-Lernen auf einem großen Datensatz von Videos durch und ist danach in der Lage, das Few- und One-Shot-Lernen von neuronalen sprechenden Kopfmodellen unbekannter Personen als adversariale Trainingsprobleme mit hochkapazitätsgeneratoren und -diskriminatoren zu formulieren. Entscheidend ist, dass das System die Parameter sowohl des Generators als auch des Diskriminators auf eine personenspezifische Weise initialisieren kann, sodass das Training auf Basis nur weniger Bilder schnell durchgeführt werden kann, trotz der Notwendigkeit, Tausende von Millionen von Parametern anzupassen. Wir zeigen, dass dieser Ansatz in der Lage ist, hochrealistische und personalisierte sprechende Kopfmodelle neuer Personen sowie sogar Porträtmalereien zu lernen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp