Audio Barlow Twins: Selbstüberwachtes Audiodarstellungslernen

Das Selbstüberwachungsziel von Barlow Twins erfordert weder negative Stichproben noch asymmetrische Lernaktualisierungen und erreicht Ergebnisse, die mit dem aktuellen Stand der Technik in der Computer Vision vergleichbar sind. Auf dieser Grundlage stellen wir Audio Barlow Twins vor, einen neuen Ansatz für das selbstüberwachte Lernen von Audiodarstellungen, bei dem Barlow Twins auf den Audiobereich angepasst werden. Wir führen ein Vortraining auf dem groß angelegten Audiodatensatz AudioSet durch und bewerten die Qualität der gelernten Darstellungen anhand von 18 Aufgaben des HEAR 2021 Challenges. Dabei erzielen wir Ergebnisse, die den aktuellen Stand der Technik für instanzbasierte Diskriminierung im Bereich des selbstüberwachten Lernens von Audiodarstellungen übertreffen oder zumindest gleichwertig sind. Der Quellcode ist unter https://github.com/jonahanton/SSL_audio verfügbar.