HyperAIHyperAI

Command Palette

Search for a command to run...

CKConv: Kontinuierliche Kernkonvolution für sequenzielle Daten

David W. Romero; Anna Kuzina; Erik J. Bekkers; Jakub M. Tomczak; Mark Hoogendoorn

Zusammenfassung

Konventionelle neuronale Architekturen für sequenzielle Daten weisen wichtige Einschränkungen auf. Rekurrente Netze leiden unter explodierenden und verschwindenden Gradienten, kurzen effektiven Gedächtnishorizonten und müssen sequenziell trainiert werden. Faltungsnetze sind nicht in der Lage, Sequenzen unbekannter Länge zu verarbeiten, und ihr Gedächtnishorizont muss vorab definiert werden. In dieser Arbeit zeigen wir, dass alle diese Probleme durch die Formulierung von Faltungskernen in CNNs als stetige Funktionen gelöst werden können. Die resultierende kontinuierliche Kernfaltung (Continuous Kernel Convolution, CKConv) ermöglicht es uns, beliebig lange Sequenzen in paralleler Weise innerhalb einer einzelnen Operation zu modellieren, ohne auf irgendeine Form von Rekurrenz zurückzugreifen. Wir demonstrieren, dass kontinuierliche Kernfaltungsnetze (Continuous Kernel Convolutional Networks, CKCNNs) in mehreren Datensätzen, z.B. permuted MNIST, den aktuellen Stand der Technik erreichen und dank ihrer stetigen Natur in natürlicher Weise mit nicht gleichmäßig abgetasteten Datensätzen und unregelmäßig abgetasteten Daten umgehen können. CKCNNs erzielen Ergebnisse, die denen von für diese Zwecke entwickelten neuronalen ODEs entsprechen oder sogar besser sind, und dies auf schnelleren und einfacheren Wegen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp