Daniel P. W. Ellis Eduardo Fonseca Ron J. Weiss Kevin Wilson Scott Wisdom et al

Résumé

Modifier des scènes sonores complexes du monde réel est difficile en raison du chevauchement temporel des différentes sources sonores. Les modèles génératifs peuvent combler les détails manquants ou corrompus grâce à leur compréhension approfondie du domaine des données. Nous présentons un système permettant d’éditer des événements sonores individuels au sein de scènes complexes, capable de supprimer, insérer ou renforcer des événements sonores individuels en se basant sur des descriptions d’édition textuelles (par exemple : « renforcer la porte ») et sur une représentation graphique du timing des événements issue d’une transcription « event roll ». Notre approche repose sur un modèle encodeur-décodeur à transformer travaillant sur des représentations SoundStream, entraîné sur des paires d’exemples audio synthétiques (entrée, sortie souhaitée), obtenues en ajoutant des événements sonores isolés à des fonds réalistes denses. Les évaluations mettent en évidence l’importance de chaque composante de la description d’édition — l’action, la catégorie, le timing. Ce travail démontre que la « recomposition » constitue une application importante et pratique.