Apprentissage Contrastif des Représentations Musicales

Bien que l'apprentissage profond ait permis des avancées considérables dans de nombreux domaines de la musique, la création de jeux de données musicaux étiquetés reste particulièrement difficile, coûteuse et chronophage. Dans ce travail, nous introduisons SimCLR au domaine musical et contribuons à une longue chaîne d'augmentations de données audio pour former un cadre simple d'apprentissage auto-supervisé et contrastif des représentations musicales : CLMR. Cette approche fonctionne sur des données musicales brutes dans le domaine temporel et n'a pas besoin d'étiquettes pour apprendre des représentations utiles. Nous évaluons CLMR dans la tâche en aval de classification musicale sur les jeux de données MagnaTagATune et Million Song, et présentons une étude d'ablation pour tester quelles sont nos innovations liées à la musique par rapport à SimCLR qui sont les plus efficaces. Un classifieur linéaire formé sur les représentations proposées atteint une précision moyenne supérieure aux modèles supervisés sur le jeu de données MagnaTagATune, et performe de manière comparable sur le jeu de données Million Song. De plus, nous montrons que les représentations de CLMR sont transférables en utilisant des jeux de données hors domaine, indiquant que notre méthode possède une forte généralisation en classification musicale. Enfin, nous démontrons que la méthode proposée permet un apprentissage efficace avec des jeux de données étiquetés plus petits : nous obtenons une précision moyenne de 33,1 % malgré l'utilisation de seulement 259 chansons étiquetées du jeu de données MagnaTagATune (1 % du jeu complet) lors de l'évaluation linéaire. Pour favoriser la reproductibilité et la recherche future en apprentissage auto-supervisé en musique, nous mettons publiquement à disposition les modèles pré-entraînés ainsi que le code source de toutes les expériences décrites dans cet article.