Complex Transformer : Un cadre pour la modélisation de séquences à valeurs complexes

Bien que l’apprentissage profond ait connu un regain d’intérêt dans divers domaines ces dernières années, les grands modèles d’apprentissage profond utilisent très peu les nombres complexes. Pourtant, les données audio, sonores et de signal sont naturellement à valeurs complexes après transformation de Fourier, et des études ont montré qu’un réseau complexe pouvait offrir une représentation potentiellement plus riche. Dans cet article, nous proposons un modèle Complex Transformer, qui intègre le modèle Transformer comme squelette pour la modélisation de séquences ; nous avons également conçu des mécanismes d’attention ainsi qu’un réseau encodeur-décodeur capables de traiter des entrées complexes. Ce modèle atteint des performances de pointe sur le jeu de données MusicNet ainsi que sur un jeu de données de signaux In-phase Quadrature (IQ).