Google Dévoile Magenta RealTime : Un Modèle Open Source pour la Génération Musicale en Temps Réel

Google Researchers Release Magenta RealTime : Un Modèle de Génération Musicale en Temps Réel et À Poids Ouverts Le Magenta RealTime (Magenta RT), développé par l'équipe Magenta de Google, vient de faire son apparition dans le paysage de la génération musicale assistée par l'intelligence artificielle. Ce modèle de génération musicale en temps réel, la première de cette ampleur à permettre une inférence dynamique avec des prompts de style contrôlables par l'utilisateur, est désormais accessible sous licence Apache 2.0 sur GitHub et Hugging Face. Contexte : Génération Musicale en Temps Réel La capacité de contrôler en temps réel et d'interagir en direct est essentielle à la créativité musicale. Alors que les projets précédents de Magenta, comme Piano Genie et DDSP, se concentraient sur le contrôle expressif et la modélisation du signal, Magenta RT étend ces ambitions à la synthèse audio complète. Ce modèle comble l'écart entre les modèles génératifs et la composition avec intervention humaine, en offrant un retour instantané et une évolution musicale dynamique. Aperçu Technique Magenta RT est basé sur un modèle de langage Transformateur qui fonctionne avec des tokens audio discrets. Ces tokens sont générés par un codec audio neuronal qui garantit une fidélité stéréo à 48 kHz. Le modèle utilise une architecture Transformateur optimisée avec 800 millions de paramètres, conçue pour : Contrôle Dynamique : L'utilisateur peut ajuster la musique en temps réel, modifiant le genre, l'instrumentation et la progression stylistique selon ses souhaits. Génération en Continu : Grâce à des techniques d'optimisation (XLA, cacheing et planification matérielle), le modèle peut produire 1,25 seconde de musique pour chaque 2 secondes de sortie, atteignant un facteur en temps réel de 0,625, ce qui est suffisant pour une utilisation en temps réel même sur des TPUs gratuits de Google Colab. Contexte Roulant : Chaque segment de 2 secondes est généré en tenant compte d'un prompt spécifié par l'utilisateur et d'un historique de 10 secondes d'audio précédent, assurant ainsi une cohérence continue. Le processus de génération est segmenté : chaque portion de 2 secondes est synthétisée de manière séquentielle, avec des fenêtres superposées pour garantir la continuité. Cette approche, combinée aux méthodes d'optimisation, permet de minimiser la latence. Données et Formation Magenta RT a été formé sur environ 190 000 heures de musique instrumentale de stock. Cet ensemble de données massif et diversifié permet au modèle de généraliser sur un large éventail de genres et de s'adapter fluidement à différents contextes musicaux. Les données ont été tokenisées à l'aide d'un codec hiérarchique, qui offre des représentations compactes tout en conservant la qualité sonore. Le modèle supporte deux modalités d'entrée pour les prompts de style : - Texte : Des phrases ou des mots-clés décrivant le genre, l'instrumentation et le style. - Audio : Des segments de musique existante, ce qui permet d'ajuster la génération en fonction d'une référence sonore spécifique. Cette dualité des entrées permet une transition en temps réel entre différents genres et d'un mélange dynamique des instruments, des capacités cruciales pour la création musicale en direct et les scénarios de performance à la manière d'un DJ. Applications et Cas d'Utilisation Magenta RT est conçu pour être intégré à diverses applications, notamment : - Logiciels de Production Musicale : Une interface utilisateur peut permettre aux musiciens de composer et de modifier la musique en temps réel. - Équipements Audio en Direct : Il peut être utilisé lors de performances live pour offrir une interaction immédiate et créer une expérience musicale unique. - Jeux Vidéo et Expériences Immersives : Le modèle peut générer une musique qui évolue en temps réel en fonction des actions des joueurs ou des utilisateurs, améliorant ainsi l'engagement. - Éducation Musicale : Il peut servir d'outil pédagogique, aidant les élèves à comprendre les concepts musiciaux par la pratique instantanée. Google a également mentionné des mises à jour prochaines qui intégreront l'inférence sur appareil et une personnalisation fine pour les créateurs, leur permettant ainsi d'ajuster le modèle à leur signature stylistique unique. Avantages Par Rapport Aux Modèles Existantes Comparé à des modèles comme MusicGen ou MusicLM, Magenta RT offre une latence inférieure et permet une génération interactive, éléments souvent manquants dans les pipelines actuels de génération musicale basés sur des prompts, où la création d'une piste complète est nécessaire avant l'audition. Magenta RT se distingue également des modèles de diffusion latente (par exemple, Riffusion) et des décodeurs autoregressifs (par exemple, Jukebox) en se concentrant sur la prédiction de tokens de codec avec une latence minimal. Évaluation Professionnelle Les professionals de l'industrie reconnaissent que la mise à disposition d'un modèle de génération musicale en temps réel, ouvert et autosuffisant, représente un pas de géant vers des systèmes de musique assistée par l'IA plus réactifs et collaboratifs. La flexibilité du modèle en termes de contrôle utilisateur et sa capacité à s'adapter rapidement aux changements de styles et de genres en temps réel en font un outil précieux pour les compositeurs, les DJ et les développeurs de logiciels musicaux. Profil de l'Entreprise L'équipe Magenta de Google est connue pour son travail innovant dans le domaine de la génération créative assistée par l'intelligence artificielle. Formé d'experts en apprendissage automatique et en traitement du signal, Magenta s'efforce de débloquer de nouvelles formes d'expression artistique en facilitant la collaboration entre humains et machines. Ce nouveau modèle, Magenta RT, témoigne de l'engagement continu de Google à rendre l'IA accessible et utile aux artistes et aux chercheurs. Pour en savoir plus, consultez le Modèle sur Hugging Face, la Page GitHub, les Détails Techniques et le Colab Notebook. Tous les crédits pour cette recherche reviennent aux chercheurs du projet. N'hésitez pas à nous suivre sur Twitter et à rejoindre notre ML SubReddit comptant plus de 100 000 membres, et abonnez-vous à notre Newsletter. Un événement important à surveiller est la miniCON AI Infrastructure 2025, qui se tiendra le 2 août 2025. Parmi les intervenants notables figurent Jessica Liu, Vice-présidente du Produit chez Cerebrass, Andreas Schick, Directeur de l'IA au sein de la FDA américaine, Volkmar Uhlig, Vice-président de l'infrastructure IA chez IBM, Daniele Stroppa, Partenaire Solutions Architect chez Amazon, Aditya Gautam, Responsable de l'apprentissage automatique chez Meta, Sercan Arik, Responsable Recherche chez Google Cloud AI, Valentina Pedoia, Directrice Senior de l'IA/ML chez Altos Labs, et Sandeep Kaipu, Manageur Ingénierie Logicielle chez Broadcom.