HyperAIHyperAI
il y a 2 mois

Audio Barlow Twins : Apprentissage de représentations audio auto-supervisé

Anton, Jonah ; Coppock, Harry ; Shukla, Pancham ; Schuller, Bjorn W.
Audio Barlow Twins : Apprentissage de représentations audio auto-supervisé
Résumé

L'objectif d'apprentissage auto-supervisé des Barlow Twins n'exige ni échantillons négatifs ni mises à jour d'apprentissage asymétriques, obtenant des résultats comparables aux meilleures performances actuelles dans le domaine de la Vision par Ordinateur. Dans cette optique, nous présentons Audio Barlow Twins, une nouvelle approche d'apprentissage auto-supervisé pour la représentation audio, adaptant les Barlow Twins au domaine audio. Nous pré-entraînons notre modèle sur l'ensemble de données audio à grande échelle AudioSet et évaluons la qualité des représentations apprises sur 18 tâches du Défi HEAR 2021, obtenant des résultats qui surpassent ou sont au moins comparables aux meilleures performances actuelles pour les approches d'apprentissage auto-supervisé basées sur la discrimination d'instances en apprentissage de représentation audio. Le code est disponible à l'adresse suivante : https://github.com/jonahanton/SSL_audio.