Génération de symphonie avec un modèle linguistique invariant par permutation

Dans ce travail, nous proposons un modèle linguistique invariant par permutation, appelé SymphonyNet, en tant que solution pour la génération de musique symphonique symbolique. Nous introduisons une nouvelle représentation, appelée Multi-track Multi-instrument Repeatable (MMR), adaptée à la musique symphonique, et modélisons la séquence musicale à l’aide d’un modèle linguistique auto-régressif basé sur Transformer, doté d’un embedding positionnel 3-D spécifique. Pour surmonter le problème de dépassement de longueur lors de la modélisation de séquences musicales très longues, nous proposons également une version modifiée de l’algorithme Byte Pair Encoding (Music BPE) adapté aux jetons musicaux, ainsi qu’une nouvelle architecture de décodeur linéaire basée sur le Transformer, adoptée comme cœur du modèle. Par ailleurs, nous entraînons le décodeur à apprendre automatiquement l’orchestration comme tâche conjointe, en masquant les informations d’instrument dans l’entrée. Enfin, nous présentons un grand ensemble de données symboliques de musique symphonique, destiné à stimuler les recherches dans ce domaine. Les résultats expérimentaux montrent que l’approche proposée est capable de générer des œuvres symphoniques cohérentes, novatrices, complexes et harmonieuses, établissant ainsi une solution pionnière pour la génération musicale symbolique multi-tracks et multi-instruments.