HyperAIHyperAI
vor 17 Tagen

Normalisierte Fluss-basierte Metrik für die Bildgenerierung

Pranav Jeevan, Neeraj Nixon, Amit Sethi
Normalisierte Fluss-basierte Metrik für die Bildgenerierung
Abstract

Wir schlagen zwei neue Bewertungsmetriken zur Beurteilung der Realitätsnähe generierter Bilder auf Basis von Normalisierungsflüssen vor: eine einfachere und effiziente flussbasierte Likelihood-Distanz (FLD) sowie eine genauere dual-flussbasierte Likelihood-Distanz (D-FLD). Da Normalisierungsflüsse die exakte Likelihood berechnen lassen, bewerten die vorgeschlagenen Metriken, wie eng generierte Bilder der Verteilung realer Bilder aus einem gegebenen Domänenbereich entsprechen. Diese Eigenschaft verleiht den vorgeschlagenen Metriken mehrere Vorteile gegenüber dem weit verbreiteten Fréchet-Inception-Distanz (FID) und anderen jüngeren Metriken. Erstens stabilisieren sich die vorgeschlagenen Metriken bereits nach wenigen hundert Bildern (Konvergenz im Mittelwert), im Gegensatz zu Zehntausenden für FID und mindestens Tausenden für andere Metriken. Dies ermöglicht eine zuverlässige Bewertung sogar kleiner Bildmengen, wie beispielsweise Validierungsbatches innerhalb von Trainingsloops. Zweitens verfügt das Netzwerk zur Berechnung der vorgeschlagenen Metrik über mehr als eine Größenordnung weniger Parameter im Vergleich zu Inception-V3, das für die Berechnung von FID verwendet wird, was die rechnerische Effizienz erheblich steigert. Für die Beurteilung der Realitätsnähe generierter Bilder in neuen Domänen (z. B. Röntgenbilder) sollten diese Netzwerke idealerweise auf realen Bildern neu trainiert werden, um deren spezifische Verteilungen präzise zu modellieren. In solchen neuen Domänen wird das kleinere Netzwerk daher noch deutlicher vorteilhaft sein. Umfangreiche Experimente zeigen, dass die vorgeschlagenen Metriken die gewünschten monotonen Beziehungen zur Grad der Bilddegradation verschiedener Art aufweisen.

Normalisierte Fluss-basierte Metrik für die Bildgenerierung | Neueste Forschungsarbeiten | HyperAI