HyperAIHyperAI

Command Palette

Search for a command to run...

FInC-Flow: Schnelle und invertierbare k×kk \times kk×k-Faltungen für Normalisierungsflüsse

Aditya Kallappa Sandeep Nagar Girish Varma

Zusammenfassung

Invertierbare Faltungen sind seit ihrer Einführung in Glow ein wesentlicher Bestandteil zur Konstruktion ausdrucksstarker normalisierender Fluss-basierter Generativmodelle. Mehrere Ansätze wurden unternommen, um invertierbare k×kk \times kk×k-Faltungen zu entwerfen, die sowohl im Trainings- als auch im Sampling-Verfahren effizient sind. Obwohl diese Ansätze die Ausdruckskraft und die Sampling-Effizienz verbesserten, lagen sie hinsichtlich der Sampling-Zeit erheblich hinter Glow zurück, das lediglich 1×11 \times 11×1-Faltungen verwendete. Zudem maskieren viele dieser Ansätze eine große Anzahl der zugrundeliegenden Faltungsparameter, was zu einer reduzierten Ausdruckskraft bei gegebener Laufzeitbudget führt. Wir stellen eine k×kk \times kk×k-Faltungs-Schicht sowie eine tiefes normalisierendes Fluss-Architektur vor, die i.) einen schnellen parallelen Inversionsalgorithmus mit Laufzeit O(nk2)(n k^2)(nk2) besitzt (wobei nnn die Höhe und Breite des Eingabebildes und kkk die Kernelgröße ist), ii.) die minimal mögliche Anzahl an lernbaren Parametern pro Schicht maskiert, und iii.) eine bessere Vorwärtspass- und Sampling-Zeit erreicht, die mit anderen k×kk \times kk×k-Faltungsbasierten Modellen auf realen Benchmark-Datensätzen vergleichbar ist. Wir stellen eine Implementierung des vorgeschlagenen parallelen Algorithmus für das Sampling mittels unserer invertierbaren Faltungen auf GPUs bereit. Benchmark-Tests auf den Datensätzen CIFAR-10, ImageNet und CelebA zeigen eine vergleichbare Leistung bezüglich Bits pro Dimension im Vergleich zu früheren Arbeiten, wobei die Sampling-Zeit jedoch signifikant verbessert wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp