HyperAIHyperAI

Command Palette

Search for a command to run...

PixelCNN++: Verbesserung des PixelCNN durch die Verwendung der diskretisierten Logistischen Mischverteilungswahrscheinlichkeit und andere Modifikationen

Tim Salimans; Andrej Karpathy; Xi Chen; Diederik P. Kingma

Zusammenfassung

PixelCNNs sind eine kürzlich vorgeschlagene Klasse leistungsfähiger generativer Modelle mit berechenbarer Likelihood. In diesem Artikel diskutieren wir unsere Implementierung von PixelCNNs, die unter https://github.com/openai/pixel-cnn zur Verfügung gestellt wird. Unsere Implementierung enthält mehrere Änderungen am ursprünglichen Modell, die sowohl dessen Struktur vereinfachen als auch die Leistung verbessern:1) Wir verwenden eine diskretisierte Logistik-Mischungs-Likelihood für die Pixel anstelle einer 256-Wege-Softmax, was das Training beschleunigt.2) Wir bedingen uns auf ganze Pixel anstelle von R/G/B-Sub-Pixeln, was die Modellstruktur vereinfacht.3) Wir nutzen Downsampling, um Strukturen in verschiedenen Auflösungen effizient zu erfassen.4) Wir führen zusätzliche Short-Cut-Verbindungen ein, um die Optimierung weiter zu beschleunigen.5) Wir regularisieren das Modell durch den Einsatz von Dropout.Zum Abschluss präsentieren wir Stand-of-the-Art-Ergebnisse der Log-Likelihood auf CIFAR-10, um die Nützlichkeit dieser Änderungen zu demonstrieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp