Audio-Embeddings als Lehrer für die Musikklassifizierung

Die Musikklassifizierung ist eine der beliebtesten Aufgaben im Bereich der Musikinformationserfassung (Music Information Retrieval). Mit der Entwicklung von tiefen Lernmodellen haben die letzten zehn Jahre erstaunliche Verbesserungen in einer Vielzahl von Klassifizierungsaufgaben gebracht. Allerdings führt die zunehmende Modellkomplexität zu erhöhten Rechenkosten sowohl beim Training als auch bei der Inferenz. In dieser Arbeit integrieren wir die Konzepte des Transfer Learnings und des feature-basierten Wissensdistillierens und untersuchen systematisch die Verwendung vortrainierter Audio-Embeddings als Lehrer zur Anleitung des Trainings von low-complexity-Schülernetzwerken. Durch Regularisierung des Featurespektrums der Schülernetzwerke mit den vortrainierten Embeddings kann das Wissen aus den Lehrer-Embeddings auf die Schüler übertragen werden. Wir verwenden verschiedene vortrainierte Audio-Embeddings und testen die Effektivität der Methode anhand der Aufgaben der Instrumentenklassifizierung und automatischen Musiktagezuteilung (auto-tagging). Die Ergebnisse zeigen, dass unsere Methode die Ergebnisse im Vergleich zu einem identischen Modell, das ohne das Wissen des Lehrers trainiert wurde, erheblich verbessert. Diese Technik kann auch mit klassischen Ansätzen des Wissensdistillierens kombiniert werden, um die Leistungsfähigkeit des Modells weiter zu steigern.