HyperAIHyperAI

Command Palette

Search for a command to run...

Modélisation de séquences par convolution révisée

Vladlen Koltun J. Zico Kolter Shaojie Bai

Résumé

Cet article reprend le problème de la modélisation de séquences à l’aide d’architectures convolutionnelles. Bien que les architectures convolutionnelles et récurrentes aient une longue histoire dans la prédiction de séquences, l’approche « par défaut » adoptée par une grande partie de la communauté du deep learning considère actuellement que la modélisation générique de séquences est le mieux traitée par des réseaux récurrents. L’objectif de ce travail est de remettre en question cette hypothèse. Plus précisément, nous étudions un réseau convolutionnel temporel (TCN) simple et générique, qui intègre des caractéristiques des architectures ConvNet modernes, telles que la dilatation et les connexions résiduelles. Nous montrons que sur une variété de tâches de modélisation de séquences — y compris de nombreuses tâches couramment utilisées comme benchmarks pour évaluer les réseaux récurrents — le TCN surpasser les méthodes de base basées sur les RNN (LSTM, GRU et RNN classiques), et parfois même des approches hautement spécialisées. Nous démontrons également que l’avantage potentiel « à mémoire infinie » que possèdent les RNN par rapport aux TCN est en grande partie absent en pratique : les TCN présentent en effet une taille d’historique efficace plus longue que leurs homologues récurrents. Dans son ensemble, nous soutenons qu’il pourrait être temps de (re)considérer les ConvNets comme l’architecture « par défaut » pour la modélisation de séquences.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Modélisation de séquences par convolution révisée | Articles | HyperAI