Auto-Attention pour la Sur-résolution Audio

Les convolutions opèrent uniquement de manière locale, ce qui les empêche de modéliser les interactions globales.En revanche, l'auto-attention est capable d'apprendre des représentations qui capturent les dépendances à longue portée dans les séquences.Nous proposons une architecture de réseau pour la sur-résolution audio qui combine les convolutions et l'auto-attention.Le module d'Attention basé sur la Modulation Linéaire par Caractéristique (AFiLM) utilise le mécanisme d'auto-attention au lieu des réseaux neuronaux récurrents pour moduler les activations du modèle convolutionnel.De nombreuses expériences montrent que notre modèle surpasse les approches existantes sur des benchmarks standards.De plus, il permet une plus grande parallélisation, ce qui entraîne un entraînement significativement plus rapide.