CKConv: Kontinuierliche Kernkonvolution für sequenzielle Daten

Konventionelle neuronale Architekturen für sequenzielle Daten weisen wichtige Einschränkungen auf. Rekurrente Netze leiden unter explodierenden und verschwindenden Gradienten, kurzen effektiven Gedächtnishorizonten und müssen sequenziell trainiert werden. Faltungsnetze sind nicht in der Lage, Sequenzen unbekannter Länge zu verarbeiten, und ihr Gedächtnishorizont muss vorab definiert werden. In dieser Arbeit zeigen wir, dass alle diese Probleme durch die Formulierung von Faltungskernen in CNNs als stetige Funktionen gelöst werden können. Die resultierende kontinuierliche Kernfaltung (Continuous Kernel Convolution, CKConv) ermöglicht es uns, beliebig lange Sequenzen in paralleler Weise innerhalb einer einzelnen Operation zu modellieren, ohne auf irgendeine Form von Rekurrenz zurückzugreifen. Wir demonstrieren, dass kontinuierliche Kernfaltungsnetze (Continuous Kernel Convolutional Networks, CKCNNs) in mehreren Datensätzen, z.B. permuted MNIST, den aktuellen Stand der Technik erreichen und dank ihrer stetigen Natur in natürlicher Weise mit nicht gleichmäßig abgetasteten Datensätzen und unregelmäßig abgetasteten Daten umgehen können. CKCNNs erzielen Ergebnisse, die denen von für diese Zwecke entwickelten neuronalen ODEs entsprechen oder sogar besser sind, und dies auf schnelleren und einfacheren Wegen.