HyperAIHyperAI

Command Palette

Search for a command to run...

Recomposer: ereignisrollenbasierte generative Audio-Editierung

Daniel P. W. Ellis Eduardo Fonseca Ron J. Weiss Kevin Wilson Scott Wisdom et al

Zusammenfassung

Die Bearbeitung komplexer, realweltbezogener Klangszenerien ist schwierig, da sich einzelne Kallquellen zeitlich überlappen. Generative Modelle können fehlende oder beschädigte Details aufgrund ihres starken Vorwissen über den Datendomänenbereich ergänzen. Wir präsentieren ein System zur Bearbeitung einzelner Klangereignisse innerhalb komplexer Szenen, das auf der Grundlage von textuellen Bearbeitungsbeschreibungen (z. B. „Verbessere Tür“) sowie einer grafischen Darstellung der Ereigniszeitpunkte, die aus einer „Event-Roll“-Transkription abgeleitet wird, einzelne Klangereignisse löschen, einfügen oder verstärken kann. Unser Ansatz basiert auf einem Encoder-Decoder-Transformer, der auf SoundStream-Darstellungen arbeitet und an synthetischen (Eingabe, gewünschte Ausgabe)-Audio-Paaren trainiert wurde, die durch das Hinzufügen isolierter Klangereignisse zu dichten, realweltbasierten Hintergründen entstanden sind. Die Evaluation zeigt die Bedeutung jedes Teils der Bearbeitungsbeschreibungen – Aktion, Klassenbezeichnung, Zeitpunkt. Unsere Arbeit demonstriert, dass die „Rekombination“ eine wichtige und praktikable Anwendung darstellt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp