Command Palette
Search for a command to run...
Transformateurs Continuels : Attention sans Redondance pour l'Inférence en Ligne
Transformateurs Continuels : Attention sans Redondance pour l'Inférence en Ligne
Lukas Hedegaard; Arian Bakhtiarnia; Alexandros Iosifidis
Résumé
Les Transformers sous leur forme courante sont fondamentalement limités à traiter des séquences de tokens entières plutôt qu'un seul token à la fois. Par conséquent, leur utilisation lors de l'inférence en ligne sur des données de série temporelle entraîne une redondance considérable due au chevauchement des séquences de tokens successives. Dans cette étude, nous proposons de nouvelles formulations de l'Attention à Produit Scalaire Échelonné (Scaled Dot-Product Attention), qui permettent aux Transformers d'effectuer une inférence en ligne efficace, token par token, sur un flux d'entrée continu. Importamment, nos modifications se limitent strictement à l'ordre des calculs, tandis que les sorties et les poids appris restent identiques à ceux du Transformer Encodeur original. Nous validons notre Encodeur Transformer Continu par des expériences menées sur les jeux de données THUMOS14, TVSeries et GTZAN avec des résultats remarquables : nos architectures à un bloc et deux blocs continus réduisent respectivement les opérations en virgule flottante par prédiction jusqu'à 63 fois et 2,6 fois, tout en conservant les performances prédictives.