HyperAIHyperAI

Command Palette

Search for a command to run...

Sequenzmodellierung mit multiresolutionalem Faltungsworkspeicher

Jiaxin Shi; Ke Alexander Wang; Emily B. Fox

Zusammenfassung

Die effiziente Erfassung von langreichweitigen Mustern in sequenziellen Datenquellen, die für eine bestimmte Aufgabe wie Klassifizierung und generative Modellierung relevant sind, stellt eine grundlegende Herausforderung dar. Beliebte Ansätze in diesem Bereich gehen entweder auf den Speicherbedarf der aufwendigen Enumeration und Vergleich, wie bei Transformatoren, den Rechenbedarf komplexer sequenzieller Abhängigkeiten, wie bei rekurrenten neuronalen Netzen, oder den Parameterbedarf von Faltungsnetzen mit vielen oder großen Filtern ein. Wir schöpfen stattdessen Inspiration aus wellenbasierten Mehrebenenanalysen (wavelet-based multiresolution analysis), um einen neuen Baustein für die Sequenzmodellierung zu definieren, den wir MultiresLayer nennen. Das zentrale Element unseres Modells ist die Mehrebenenfaltung (multiresolution convolution), die Trends auf verschiedenen Skalen in der Eingangsequenz erfasst. Unser MultiresConv kann mit geteilten Filtern über einen verdünnten kausalen Faltungsbauimplemented werden. So nutzt es die rechnerischen Vorteile von Faltungsnetzen und die fundierte theoretische Begründung der Wellendekompositionen. Unser MultiresLayer ist einfach zu implementieren, benötigt erheblich weniger Parameter und behält einen maximalen Speicheraufwand von O(NlogN)\mathcal{O}(N\log N)O(NlogN) für eine Sequenz der Länge NNN. Dennoch erreicht unser Modell durch das Stapeln solcher Schichten Spitzenleistungen bei einer Reihe von Sequenzklassifizierungs- und autoregressiven Dichteabschätzungsaufgaben unter Verwendung der Datensätze CIFAR-10, ListOps und PTB-XL.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp