Modélisation de séquences avec une mémoire convolutive multirésolution

Capturer efficacement les motifs à longue portée dans les sources de données séquentielles pertinentes pour une tâche donnée, comme la classification et la modélisation générative, constitue un défi fondamental. Les approches populaires dans ce domaine font des compromis entre le fardeau mémoire de l'énumération et de la comparaison brutales, comme dans les transformateurs, le fardeau computationnel des dépendances séquentielles complexes, comme dans les réseaux neuronaux récurrents, ou le fardeau paramétrique des réseaux de convolution avec de nombreux ou de grands filtres. Nous nous inspirons plutôt de l'analyse multirésolution basée sur les ondelettes pour définir un nouveau bloc de construction pour la modélisation séquentielle, que nous appelons MultiresLayer. Le composant clé de notre modèle est la convolution multirésolution, qui capture les tendances à différentes échelles dans la séquence d'entrée. Notre MultiresConv peut être mise en œuvre avec des filtres partagés au sein d'un arbre de convolution causale dilatée. Ainsi, elle bénéficie des avantages computationnels des réseaux de convolution et de la motivation théorique rigoureuse des décompositions en ondelettes. Notre MultiresLayer est simple à mettre en œuvre, nécessite significativement moins de paramètres et maintient une empreinte mémoire maximale de $\mathcal{O}(N\log N)$ pour une séquence de longueur $N$. Cependant, en empilant ces couches, notre modèle atteint des performances d'état de l'art sur plusieurs tâches de classification séquentielle et d'estimation de densité autorégressive utilisant les jeux de données CIFAR-10, ListOps et PTB-XL.