Sequenzmodellierung mit multiresolutionalem Faltungsworkspeicher

Die effiziente Erfassung von langreichweitigen Mustern in sequenziellen Datenquellen, die für eine bestimmte Aufgabe wie Klassifizierung und generative Modellierung relevant sind, stellt eine grundlegende Herausforderung dar. Beliebte Ansätze in diesem Bereich gehen entweder auf den Speicherbedarf der aufwendigen Enumeration und Vergleich, wie bei Transformatoren, den Rechenbedarf komplexer sequenzieller Abhängigkeiten, wie bei rekurrenten neuronalen Netzen, oder den Parameterbedarf von Faltungsnetzen mit vielen oder großen Filtern ein. Wir schöpfen stattdessen Inspiration aus wellenbasierten Mehrebenenanalysen (wavelet-based multiresolution analysis), um einen neuen Baustein für die Sequenzmodellierung zu definieren, den wir MultiresLayer nennen. Das zentrale Element unseres Modells ist die Mehrebenenfaltung (multiresolution convolution), die Trends auf verschiedenen Skalen in der Eingangsequenz erfasst. Unser MultiresConv kann mit geteilten Filtern über einen verdünnten kausalen Faltungsbauimplemented werden. So nutzt es die rechnerischen Vorteile von Faltungsnetzen und die fundierte theoretische Begründung der Wellendekompositionen. Unser MultiresLayer ist einfach zu implementieren, benötigt erheblich weniger Parameter und behält einen maximalen Speicheraufwand von $\mathcal{O}(N\log N)$ für eine Sequenz der Länge $N$. Dennoch erreicht unser Modell durch das Stapeln solcher Schichten Spitzenleistungen bei einer Reihe von Sequenzklassifizierungs- und autoregressiven Dichteabschätzungsaufgaben unter Verwendung der Datensätze CIFAR-10, ListOps und PTB-XL.