TräumerAI : Création musicale avec StyleGAN

L'objectif de cet article est de générer une vidéo visuellement attrayante qui réagit à la musique grâce à un réseau neuronal, de manière que chaque image de la vidéo reflète les caractéristiques musicales du clip audio correspondant. Pour atteindre cet objectif, nous proposons un visualiseur musical neuronal nommé TräumerAI, qui établit une correspondance directe entre des plongements musicaux profonds et des plongements stylistiques de StyleGAN. TräumerAI se compose d'un modèle d'autotagging musical utilisant un CNN à tronçons courts (short-chunk CNN) et de StyleGAN2 pré-entraîné sur le jeu de données WikiArt. Au lieu d'établir une métrique objective entre les sémantiques musicales et visuelles, nous avons étiqueté manuellement les paires de manière subjective. Un annotateur a écouté 100 extraits musicaux de 10 secondes chacun et a sélectionné une image parmi 200 exemples générés par StyleGAN qui convient à la musique. Sur la base des données collectées, nous avons entraîné une fonction de transfert simple qui convertit un plongement audio en un plongement stylistique. Les exemples générés montrent que la correspondance entre l'audio et la vidéo présente un certain niveau de similarité intra-segment et de dissimilarité inter-segment.