HyperAIHyperAI

Command Palette

Search for a command to run...

Selbstverbessernde Diffusionsmodelle mit synthetischen Daten

Sina Alemohammad Ahmed Imtiaz Humayun Shruti Agarwal John Collomosse Richard Baraniuk

Zusammenfassung

Die Welt der künstlichen Intelligenz (KI) gerät zunehmend in eine Situation, in der reale Daten für das Training immer größerer generativer Modelle knapp werden, was einen wachsenden Druck erzeugt, stattdessen auf synthetische Daten zurückzugreifen. Leider führt das Training neuer generativer Modelle mit synthetischen Daten, die von aktuellen oder vergangenen Modellgenerationen stammen, zu einer autophagischen (selbstzerstörerischen) Schleife, die die Qualität und/oder Vielfalt der synthetischen Daten verschlechtert – ein Phänomen, das als Modellautophagiedysfunktion (Model Autophagy Disorder, MAD) bezeichnet wird und schließlich zum Modellzusammenbruch führen kann. Die derzeitige Forschung hält synthetische Daten für das Training aufgrund dieser Gefahr für riskant, um eine Verschlechterung des Systems in Richtung MAD zu vermeiden. In diesem Artikel verfolgen wir einen anderen Ansatz, der synthetische Daten von echten Daten unterscheidet. Selbst-IMproving Diffusionsmodelle mit synthetischen Daten (SIMS) stellen ein neuartiges Trainingskonzept für Diffusionsmodelle dar, das selbstgenerierte Daten nutzt, um während des Generierungsprozesses negative Anleitung zu liefern. Dadurch wird der generative Prozess eines Modells von der nicht-ideal strukturierten synthetischen Datenumgebung weggeleitet und in Richtung der echten Datensammlung gelenkt. Wir zeigen, dass SIMS in der Lage ist, sich selbst zu verbessern: Es erreicht neue Rekorde hinsichtlich des Fréchet-Inception-Distanz-Metriken (FID) bei der Generierung von CIFAR-10 und ImageNet-64 und erzielt wettbewerbsfähige Ergebnisse auf FFHQ-64 und ImageNet-512. Zudem ist SIMS, soweit uns bekannt, das erste prophylaktische generative KI-Verfahren, das iterativ auf selbstgenerierten synthetischen Daten trainiert werden kann, ohne in MAD zu geraten. Als zusätzlicher Vorteil ermöglicht SIMS die Anpassung der synthetischen Datenumgebung eines Diffusionsmodells an eine beliebige gewünschte Zielverteilung innerhalb des Domänenbereichs, um so Vorurteile zu reduzieren und Fairness zu fördern.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp