JEN-1 : Génération universelle de musique guidée par le texte avec des modèles de diffusion omnidirectionnels

La génération de musique a suscité un intérêt croissant avec l'avancement des modèles génératifs profonds. Cependant, la génération de musique conditionnée par des descriptions textuelles, connue sous le nom de text-to-music (texte vers musique), reste un défi en raison de la complexité des structures musicales et des exigences élevées en termes de taux d'échantillonnage. Malgré l'importance de cette tâche, les modèles génératifs actuels présentent des limitations en matière de qualité musicale, d'efficacité computationnelle et de généralisation. Ce papier présente JEN-1, un modèle universel haute fidélité pour la génération text-to-music. JEN-1 est un modèle de diffusion intégrant à la fois une formation auto-régressive et une formation non auto-régressive. Grâce à l'apprentissage contextuel, JEN-1 réalise diverses tâches de génération, notamment la génération guidée par le texte, le retouchage musical et la continuation. Les évaluations montrent que JEN-1 surpasse les méthodes les plus avancées en termes d'alignement texte-musique et de qualité musicale tout en maintenant une efficacité computationnelle. Nos démonstrations sont disponibles à l'adresse suivante : https://jenmusic.ai/audio-demos