HyperAIHyperAI

Command Palette

Search for a command to run...

Temporal FiLM : Capture des dépendances à long terme dans les séquences avec des modulations par fonctionnalité

Sawyer Birnbaum Volodymyr Kuleshov S. Zayd Enam Pang Wei Koh Stefano Ermon

Résumé

L'apprentissage de représentations qui capturent avec précision les dépendances à long terme dans des entrées séquentielles -- y compris le texte, l'audio et les données génomiques -- est un problème clé en apprentissage profond. Les modèles de convolution à alimentation directe ne capturent que les interactions de caractéristiques au sein de champs récepteurs finis, tandis que les architectures récurrentes peuvent être lentes et difficiles à entraîner en raison des gradients qui s'évanouissent. Dans cet article, nous proposons la Modulation Linéaire Temporelle par Caractéristique (TFiLM) -- une nouvelle composante architecturale inspirée par la normalisation adaptative par lot et ses extensions -- qui utilise un réseau neuronal récurrent pour modifier les activations d'un modèle de convolution. Cette approche élargit le champ récepteur des modèles de séquence convolutifs avec un surcoût computationnel minimal. Expérimentalement, nous constatons que TFiLM améliore considérablement la vitesse d'apprentissage et la précision des réseaux neuronaux à alimentation directe sur une gamme de tâches d'apprentissage génératif et discriminatif, notamment la classification de texte et la super-résolution audio.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Temporal FiLM : Capture des dépendances à long terme dans les séquences avec des modulations par fonctionnalité | Articles | HyperAI