Daniel P. W. Ellis Eduardo Fonseca Ron J. Weiss Kevin Wilson Scott Wisdom et al

Abstract

Die Bearbeitung komplexer, realweltbezogener Klangszenerien ist schwierig, da sich einzelne Kallquellen zeitlich überlappen. Generative Modelle können fehlende oder beschädigte Details aufgrund ihres starken Vorwissen über den Datendomänenbereich ergänzen. Wir präsentieren ein System zur Bearbeitung einzelner Klangereignisse innerhalb komplexer Szenen, das auf der Grundlage von textuellen Bearbeitungsbeschreibungen (z. B. „Verbessere Tür“) sowie einer grafischen Darstellung der Ereigniszeitpunkte, die aus einer „Event-Roll“-Transkription abgeleitet wird, einzelne Klangereignisse löschen, einfügen oder verstärken kann. Unser Ansatz basiert auf einem Encoder-Decoder-Transformer, der auf SoundStream-Darstellungen arbeitet und an synthetischen (Eingabe, gewünschte Ausgabe)-Audio-Paaren trainiert wurde, die durch das Hinzufügen isolierter Klangereignisse zu dichten, realweltbasierten Hintergründen entstanden sind. Die Evaluation zeigt die Bedeutung jedes Teils der Bearbeitungsbeschreibungen – Aktion, Klassenbezeichnung, Zeitpunkt. Unsere Arbeit demonstriert, dass die „Rekombination“ eine wichtige und praktikable Anwendung darstellt.