HyperAIHyperAI

Command Palette

Search for a command to run...

Temporal FiLM: Erfassung langreichweiter Sequenzabhängigkeiten durch feature-weise Modulationen.

Zayd Enam Sawyer Birnbaum Volodymyr Kuleshov Pang Wei W. Koh Stefano Ermon

Zusammenfassung

Die Erfassung langfristiger Abhängigkeiten in sequenziellen Eingaben – einschließlich Text, Audio und genomischer Daten – stellt ein zentrales Problem im Bereich des tiefen Lernens dar. Feed-forward-Faltungsmodelle erfassen lediglich Merkmalsinteraktionen innerhalb begrenzter Rezeptionsfelder, während rekurrente Architekturen aufgrund von verschwindenden Gradienten oft langsam und schwer zu trainieren sind. In diesem Beitrag stellen wir Temporal Feature-Wise Linear Modulation (TFiLM) vor – eine neuartige architektonische Komponente, die sich von der adaptiven Batch-Normalisierung und deren Erweiterungen inspirieren lässt –, die ein rekurrentes neuronales Netzwerk nutzt, um die Aktivierungen eines Faltungsmodells zu modulieren. Dieser Ansatz erweitert das Rezeptionsfeld von Faltungssequenzmodellen mit minimalen zusätzlichen Rechenkosten. Empirisch zeigen wir, dass TFiLM die Lerngeschwindigkeit und Genauigkeit von Feed-forward-Neuralen Netzwerken erheblich verbessert, sowohl bei generativen als auch bei diskriminativen Lernaufgaben, darunter Textklassifikation und Audio-Super-Resolution.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp