Génération de musique longue forme avec diffusion latente

Les modèles générateurs audio pour la musique ont connu des progrès considérables récemment, mais jusqu’à présent, ils n’ont pas réussi à produire des morceaux musicaux complets présentant une structure musicale cohérente. Nous montrons qu’en entraînant un modèle générateur sur des contextes temporels longs, il devient possible de générer de la musique de longue forme, pouvant atteindre jusqu’à 4 minutes et 45 secondes. Notre modèle repose sur une architecture diffusion-transformer agissant sur une représentation latente continue fortement sous-échantillonnée (taux latent de 21,5 Hz). Il obtient des performances de pointe selon les métriques de qualité audio et d’alignement avec les prompts, et des évaluations subjectives révèlent qu’il produit bien des morceaux musicaux complets aux structures cohérentes.