HyperAIHyperAI

Command Palette

Search for a command to run...

Modélisation de séquences avec une mémoire convolutive multirésolution

Jiaxin Shi; Ke Alexander Wang; Emily B. Fox

Résumé

Capturer efficacement les motifs à longue portée dans les sources de données séquentielles pertinentes pour une tâche donnée, comme la classification et la modélisation générative, constitue un défi fondamental. Les approches populaires dans ce domaine font des compromis entre le fardeau mémoire de l'énumération et de la comparaison brutales, comme dans les transformateurs, le fardeau computationnel des dépendances séquentielles complexes, comme dans les réseaux neuronaux récurrents, ou le fardeau paramétrique des réseaux de convolution avec de nombreux ou de grands filtres. Nous nous inspirons plutôt de l'analyse multirésolution basée sur les ondelettes pour définir un nouveau bloc de construction pour la modélisation séquentielle, que nous appelons MultiresLayer. Le composant clé de notre modèle est la convolution multirésolution, qui capture les tendances à différentes échelles dans la séquence d'entrée. Notre MultiresConv peut être mise en œuvre avec des filtres partagés au sein d'un arbre de convolution causale dilatée. Ainsi, elle bénéficie des avantages computationnels des réseaux de convolution et de la motivation théorique rigoureuse des décompositions en ondelettes. Notre MultiresLayer est simple à mettre en œuvre, nécessite significativement moins de paramètres et maintient une empreinte mémoire maximale de O(NlogN)\mathcal{O}(N\log N)O(NlogN) pour une séquence de longueur NNN. Cependant, en empilant ces couches, notre modèle atteint des performances d'état de l'art sur plusieurs tâches de classification séquentielle et d'estimation de densité autorégressive utilisant les jeux de données CIFAR-10, ListOps et PTB-XL.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Modélisation de séquences avec une mémoire convolutive multirésolution | Articles | HyperAI