HyperAIHyperAI

Command Palette

Search for a command to run...

Jointist: Gemeinsames Lernen für die Mehrinstrumenten-Transkription und ihre Anwendungen

Kin Wai Cheuk Keunwoo Choi Qiuqiang Kong Bochen Li Minz Won Amy Hung Ju-Chiang Wang Dorien Herremans

Zusammenfassung

In dieser Arbeit stellen wir Jointist vor, ein instrumentbewusstes Mehrinstrumenten-Framework, das in der Lage ist, mehrere Musikinstrumente aus einem Audioschnipsel zu transkribieren, zu erkennen und zu trennen. Jointist besteht aus dem Instrumentenerkennungsmodul, das die anderen Module steuert: dem Transkriptionsmodul, das instruktionspezifische Klavierrollen ausgibt, und dem Quellentrennungsmodul, das Instrumenteninformationen und Transkriptionsergebnisse nutzt.Die Instrumentensteuerung ist so konzipiert, dass sie eine explizite Mehrinstrumenten-Funktionalität ermöglicht, während die Verbindung zwischen den Transkriptions- und Quellentrennungsmodulen auf eine verbesserte Transkription abzielt. Unsere anspruchsvolle Problemformulierung macht das Modell in der realen Welt hoch nützlich, da moderne Populärmusik in der Regel aus mehreren Instrumenten besteht. Allerdings erfordert seine Neuheit einen neuen Ansatz zur Bewertung solcher Modelle. Im Experiment bewerten wir das Modell unter verschiedenen Aspekten und bieten damit einen neuen Evaluationsansatz für die Mehrinstrumententranskription. Wir argumentieren auch dafür, dass Transkriptionsmodelle als Vorverarbeitungsmodul für andere Musikanalyseaufgaben eingesetzt werden können. In den Experimenten zu mehreren nachgelagerten Aufgaben zeigte sich, dass die symbolische Darstellung unseres Transkriptionsmodells hilfreich für Spektrogramme bei der Lösung von Downbeat-Erkennung (Downbeat detection), Akkorderkennung (Chord recognition) und Tonartbestimmung (Key estimation) war.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Jointist: Gemeinsames Lernen für die Mehrinstrumenten-Transkription und ihre Anwendungen | Paper | HyperAI