HyperAIHyperAI

Command Palette

Search for a command to run...

UMO: Skalierung der Mehrfach-Identitäts-Konsistenz für die Bildanpassung mittels Übereinstimmungsbelohnung

Yufeng Cheng Wenxu Wu Shaojin Wu Mengqi Huang Fei Ding Qian He

Zusammenfassung

Neuere Fortschritte in der Bildanpassung zeigen aufgrund stärkerer Anpassungsfähigkeiten ein breites Spektrum an Anwendungsmöglichkeiten. Da Menschen jedoch besonders empfindlich auf Gesichter reagieren, bleibt eine bedeutende Herausforderung bestehen: die Erhaltung einer konsistenten Identität bei gleichzeitiger Vermeidung von Identitätsverwirrung bei der Verwendung mehrerer Referenzbilder. Dies begrenzt die Skalierbarkeit der Identitätsanpassung in bestehenden Modellen. Um dieses Problem anzugehen, präsentieren wir UMO, einen Unified Multi-identity Optimization-Framework, der eine hochauflösende Identitätserhaltung ermöglicht und die Identitätsverwirrung bei gleichzeitiger Skalierbarkeit reduziert. Mittels des „Multi-to-Multi-Matching“-Paradigmas formuliert UMO die Generierung mehrerer Identitäten als ein globales Zuweisungs-Optimierungsproblem und ermöglicht durch Verstärkungslernen auf Diffusionsmodellen allgemein eine verbesserte Konsistenz mehrerer Identitäten für bestehende Methoden der Bildanpassung. Zur Unterstützung des Trainings von UMO entwickeln wir eine skalierbare Anpassungsdatenbank mit mehreren Referenzbildern, die sowohl synthetische als auch reale Teile umfasst. Zudem schlagen wir eine neue Metrik zur Messung der Identitätsverwirrung vor. Umfangreiche Experimente zeigen, dass UMO nicht nur die Identitätskonsistenz erheblich verbessert, sondern auch die Identitätsverwirrung bei mehreren Methoden der Bildanpassung reduziert und damit einen neuen Meilenstein unter den Open-Source-Methoden im Bereich der Identitätserhaltung erreicht. Code und Modell: https://github.com/bytedance/UMO


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp