Command Palette
Search for a command to run...
Auto-Attention pour la Sur-résolution Audio
Auto-Attention pour la Sur-résolution Audio
Nathanaël Carraz Rakotonirina
Résumé
Les convolutions opèrent uniquement de manière locale, ce qui les empêche de modéliser les interactions globales.En revanche, l'auto-attention est capable d'apprendre des représentations qui capturent les dépendances à longue portée dans les séquences.Nous proposons une architecture de réseau pour la sur-résolution audio qui combine les convolutions et l'auto-attention.Le module d'Attention basé sur la Modulation Linéaire par Caractéristique (AFiLM) utilise le mécanisme d'auto-attention au lieu des réseaux neuronaux récurrents pour moduler les activations du modèle convolutionnel.De nombreuses expériences montrent que notre modèle surpasse les approches existantes sur des benchmarks standards.De plus, il permet une plus grande parallélisation, ce qui entraîne un entraînement significativement plus rapide.