HyperAIHyperAI

Command Palette

Search for a command to run...

Transformateurs Continuels : Attention sans Redondance pour l'Inférence en Ligne

Lukas Hedegaard; Arian Bakhtiarnia; Alexandros Iosifidis

Résumé

Les Transformers sous leur forme courante sont fondamentalement limités à traiter des séquences de tokens entières plutôt qu'un seul token à la fois. Par conséquent, leur utilisation lors de l'inférence en ligne sur des données de série temporelle entraîne une redondance considérable due au chevauchement des séquences de tokens successives. Dans cette étude, nous proposons de nouvelles formulations de l'Attention à Produit Scalaire Échelonné (Scaled Dot-Product Attention), qui permettent aux Transformers d'effectuer une inférence en ligne efficace, token par token, sur un flux d'entrée continu. Importamment, nos modifications se limitent strictement à l'ordre des calculs, tandis que les sorties et les poids appris restent identiques à ceux du Transformer Encodeur original. Nous validons notre Encodeur Transformer Continu par des expériences menées sur les jeux de données THUMOS14, TVSeries et GTZAN avec des résultats remarquables : nos architectures à un bloc et deux blocs continus réduisent respectivement les opérations en virgule flottante par prédiction jusqu'à 63 fois et 2,6 fois, tout en conservant les performances prédictives.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp