HyperAIHyperAI

Command Palette

Search for a command to run...

Recomposer : édition audio générique guidée par le roll d'événements

Daniel P. W. Ellis Eduardo Fonseca Ron J. Weiss Kevin Wilson Scott Wisdom et al

Résumé

Modifier des scènes sonores complexes du monde réel est difficile en raison du chevauchement temporel des différentes sources sonores. Les modèles génératifs peuvent combler les détails manquants ou corrompus grâce à leur compréhension approfondie du domaine des données. Nous présentons un système permettant d’éditer des événements sonores individuels au sein de scènes complexes, capable de supprimer, insérer ou renforcer des événements sonores individuels en se basant sur des descriptions d’édition textuelles (par exemple : « renforcer la porte ») et sur une représentation graphique du timing des événements issue d’une transcription « event roll ». Notre approche repose sur un modèle encodeur-décodeur à transformer travaillant sur des représentations SoundStream, entraîné sur des paires d’exemples audio synthétiques (entrée, sortie souhaitée), obtenues en ajoutant des événements sonores isolés à des fonds réalistes denses. Les évaluations mettent en évidence l’importance de chaque composante de la description d’édition — l’action, la catégorie, le timing. Ce travail démontre que la « recomposition » constitue une application importante et pratique.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp