CKConv : Convolution avec noyau continu pour les données séquentielles

Les architectures neuronales conventionnelles pour les données séquentielles présentent des limitations importantes. Les réseaux récurrents souffrent de gradients explosifs et disparaissants, d'horizons mémoire efficaces limités, et doivent être entraînés de manière séquentielle. Les réseaux convolutifs ne peuvent pas traiter des séquences de taille inconnue et leur horizon mémoire doit être défini a priori. Dans cette étude, nous montrons que tous ces problèmes peuvent être résolus en formulant les noyaux convolutifs dans les CNNs comme des fonctions continues. Le résultat est la Convolution à Noyau Continu (CKConv), qui nous permet de modéliser des séquences arbitrairement longues de manière parallèle, au sein d'une seule opération, et sans recourir à aucune forme de récurrence. Nous démontrons que les Réseaux Convolutifs à Noyau Continu (CKCNNs) obtiennent des résultats d'état de l'art sur plusieurs jeux de données, par exemple le MNIST permuté, et, grâce à leur nature continue, sont capables de traiter nativement des jeux de données échantillonnés de manière non uniforme et des données échantillonnées irrégulièrement. Les CKCNNs égalent ou surpassent les performances des ODEs neuronaux conçus pour ces objectifs, de manière plus rapide et plus simple.