HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux de Treillis pour la Modélisation de Séquences

Shaojie Bai J. Zico Kolter Vladlen Koltun

Résumé

Nous présentons les réseaux treillis, une nouvelle architecture pour la modélisation de séquences. D'une part, un réseau treillis est un réseau de convolution temporelle doté d'une structure spéciale, caractérisée par le partage des poids à travers la profondeur et l'injection directe de l'entrée dans les couches profondes. D'autre part, nous montrons que les réseaux récurrents tronqués sont équivalents aux réseaux treillis avec une structure de parcimonie spéciale dans leurs matrices de poids. Ainsi, les réseaux treillis avec des matrices de poids générales généralisent les réseaux récurrents tronqués. Nous exploitons ces connexions pour concevoir des réseaux treillis performants qui intègrent des éléments structuraux et algorithmiques à la fois des modèles récurrents et convolutifs. Les expériences démontrent que les réseaux treillis surpassent les méthodes actuelles de pointe sur divers benchmarks difficiles, y compris des tâches de modélisation linguistique au niveau des mots et au niveau des caractères, ainsi que des tests sous contrainte conçus pour évaluer la capacité de mémorisation à long terme. Le code est disponible à l'adresse suivante : https://github.com/locuslab/trellisnet .


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Réseaux de Treillis pour la Modélisation de Séquences | Articles | HyperAI