HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux de Neurones Récursifs Tronqués

Zeping Yu; Gongshen Liu

Résumé

Les réseaux de neurones récurrents (RNR) ont connu un grand succès dans de nombreuses tâches de traitement du langage naturel (NLP). Cependant, en raison de leur structure récurrente, ils présentent des difficultés pour la parallélisation, ce qui rend le temps d'entraînement des RNR considérablement long. Dans cet article, nous introduisons les réseaux de neurones récurrents tranchés (SRNR), qui peuvent être parallélisés en découpant les séquences en plusieurs sous-séquences. Les SRNR ont la capacité d'obtenir des informations de haut niveau à travers plusieurs couches avec peu de paramètres supplémentaires. Nous démontrons que le RNR standard est un cas particulier du SRNR lorsque nous utilisons des fonctions d'activation linéaires. Sans modifier les unités récurrentes, les SRNR sont 136 fois plus rapides que les RNR standards et peuvent être encore plus rapides lors de l'entraînement de séquences plus longues. Des expériences menées sur six grands ensembles de données d'analyse de sentiments montrent que les SRNR obtiennent de meilleures performances que les RNR standards.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp