Kontrastives Lernen musikalischer Repräsentationen

Während tiefes Lernen in vielen Bereichen der Musik große Fortschritte ermöglicht hat, bleiben etikettierte Musikdatensätze besonders schwierig, teuer und zeitaufwendig zu erstellen. In dieser Arbeit führen wir SimCLR in den Musikbereich ein und tragen eine lange Kette von Audiodatenverstärkungen bei, um einen einfachen Rahmen für das selbstüberwachte, kontrastive Lernen musikalischer Darstellungen (CLMR) zu bilden. Dieser Ansatz arbeitet mit rohen Zeitdomänen-Musikdaten und erfordert keine Etiketten zum Lernen nützlicher Darstellungen. Wir bewerten CLMR in der nachgelagerten Aufgabe der Musikklassifizierung auf den Datensätzen MagnaTagATune und Million Song und präsentieren eine Abstraktionsstudie (Ablation Study), um zu testen, welche unserer musikalischen Innovationen über SimCLR am effektivsten sind. Ein linearer Klassifikator, der auf den vorgeschlagenen Darstellungen trainiert wurde, erreicht eine höhere durchschnittliche Präzision als überwachte Modelle auf dem MagnaTagATune-Datensatz und zeigt vergleichbare Leistungen auf dem Million Song-Datensatz. Des Weiteren zeigen wir, dass die Darstellungen von CLMR unter Verwendung außerhalb des Domains liegender Datensätze übertragbar sind, was darauf hinweist, dass unsere Methode starke Generalisierungsfähigkeiten in der Musikklassifizierung besitzt. Schließlich zeigen wir, dass die vorgeschlagene Methode lern-effizientes Arbeiten mit kleineren etikettierten Datensätzen ermöglicht: Wir erreichen eine durchschnittliche Präzision von 33,1 % trotz der Verwendung nur 259 etikettierter Lieder im MagnaTagATune-Datensatz (1 % des gesamten Datensatzes) während der linearen Auswertung. Um Wiederverwendbarkeit und zukünftige Forschung im Bereich des selbstüberwachten Lernens in der Musik zu fördern, veröffentlichen wir die vorab trainierten Modelle und den Quellcode aller Experimente dieses Papers öffentlich.