La génération audio est une technologie générative qui utilise des modèles d'intelligence artificielle pour synthétiser automatiquement du contenu sonore. Son objectif est de générer des signaux audio tels que de la musique, de la parole, des sons d'ambiance et des effets sonores à partir de descriptions textuelles, de conditions audio ou d'autres types de données d'entrée. Cette technologie intègre des modèles génératifs, le traitement de la parole, la recherche d'informations musicales et l'apprentissage multimodal, et constitue un élément important du domaine de la génération de contenu pilotée par l'IA.

Le développement de la génération audio s'appuie sur des recherches de longue haleine dans de multiples domaines, notamment le traitement numérique du signal, la synthèse vocale et la génération musicale. Les premières méthodes reposaient principalement sur des systèmes à base de règles, des algorithmes de traitement du signal et l'assemblage d'échantillons, ce qui limitait la richesse et le naturel du contenu généré. Avec les progrès de l'apprentissage profond et des modèles génératifs, les chercheurs ont commencé à explorer l'utilisation des réseaux neuronaux pour apprendre directement la distribution des données sonores, permettant ainsi une synthèse audio plus flexible. En 2022, des chercheurs de Meta AI et de l'Université hébraïque de Jérusalem ont publié un article… AudioGen : Génération audio guidée par texte Le modèle AudioGen a été proposé ; il génère du contenu audio générique grâce à un contrôle conditionnel du texte. Il explore une méthode de modélisation de bout en bout, de la description en langage naturel à la génération sonore, et est devenu l'une des études représentatives les plus importantes dans le domaine de la génération audio à partir de texte.

Les systèmes modernes de génération audio s'appuient généralement sur des techniques telles que les modèles de diffusion, les modèles autorégressifs ou les codecs audio neuronaux pour convertir des instructions textuelles, des descriptions musicales ou d'autres informations conditionnelles en représentations audio, et générer ainsi des signaux sonores continus. Ces dernières années, grâce au développement de modèles multimodaux à grande échelle, la technologie de génération audio a connu des progrès constants en termes de qualité sonore, de diversité de génération et de capacités de contrôle conditionnel. Aujourd'hui, cette technologie est largement utilisée dans la composition de musiques de films et de séries télévisées, les effets sonores de jeux vidéo, la création de publicités, les personnages virtuels, la composition assistée par la musique et l'interaction homme-machine, ouvrant ainsi de nouvelles perspectives pour la production automatisée de contenus audio.