HyperAIHyperAI

Command Palette

Search for a command to run...

EGSDE: Unpaired Image-to-Image Translation via Energy-Guided Stochastic Differential Equations

Min Zhao Fan Bao Chongxuan Li Jun Zhu

Zusammenfassung

Score-based Diffusionsmodelle (SBDMs) haben in der unpaarweisen Bild-zu-Bild-Übersetzung (I2I) die derzeit besten FID-Ergebnisse erzielt. Allerdings stellen wir fest, dass bestehende Methoden die Trainingsdaten im Quellbereich vollständig ignorieren, was zu suboptimalen Lösungen für die unpaarweise I2I führt. Um dies zu beheben, schlagen wir energiegeführte stochastische Differentialgleichungen (EGSDE) vor, die eine Energiefunktion nutzen, die sowohl auf dem Quell- als auch auf dem Zielbereich vortrainiert wurde, um den Inferenzprozess eines vortrainierten SDE zur Erzielung realistischer und treuer unpaarweiser I2I zu leiten. Aufbauend auf zwei Merkmalsextraktoren entwerfen wir die Energiefunktion sorgfältig so, dass sie die Erhaltung domain-unabhängiger Merkmale und die Ableitung domain-spezifischer Merkmale fördert. Darüber hinaus geben wir eine alternative Erklärung von EGSDE als Produkt von Experten, wobei jeder der drei Experten (entsprechend dem SDE und den beiden Merkmalsextraktoren) allein zur Treue oder Realität beiträgt. Empirisch vergleichen wir EGSDE mit einer großen Gruppe von Baselines anhand dreier weit verbreiteter unpaarweiser I2I-Aufgaben unter vier Metriken. EGSDE übertrifft nicht nur in fast allen Szenarien bestehende SBDM-basierte Methoden konsistent, sondern erreicht zudem die derzeit besten Ergebnisse hinsichtlich Realität, ohne die Treueleistung zu beeinträchtigen. Zudem ermöglicht EGSDE flexible Kompromisse zwischen Realität und Treue, und durch Anpassung von Hyperparametern verbessern wir die Realitätsergebnisse weiter (z. B. FID von 51,04 bei Cat to Dog und FID von 50,43 bei Wild to Dog auf AFHQ). Der Quellcode ist unter https://github.com/ML-GSAI/EGSDE verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp