Après Avoir Examiné 50 000 Pochettes D'album, Un Concepteur D'ia Produit Des Résultats Fous

L'artiste espagnol a utilisé StyleGAN2 pour créer un concepteur d'IA, qui s'est autodidacte à l'aide de 50 000 images. Il ne s’attendait pas à ce qu’il soit si facile de former un dessinateur impressionniste.

Peut-être que certains modèles sont si classiques et remarquables que les gens ne peuvent s’empêcher de les imiter.

Avant-hier, Meng Jia, qui s'était fait connaître du public avec "Riding the Wind and Waves", a sorti une nouvelle chanson, et la pochette de l'album a été accusée de plagier une célébrité d'Instagram exactement ;
Peu de temps après, il a également été souligné que le style de l'actrice Song Zuer avait copié la pochette de l'album d'une star coréenne au niveau des pixels, et même le filigrane d'origine n'avait pas été supprimé. On peut constater que la créativité en matière de design n’est en effet pas facile.

Les personnes qui se lancent dans un travail créatif sont vouées à manquer d’inspiration.Faire référence, emprunter et imiter, intentionnellement ou non, les œuvres d’autrui. « Est-ce que ce que fait un artiste peut être considéré comme du vol ? »
Eh bien, face à la condamnation des internautes, non seulement la star a perdu la face, mais le créateur a également perdu sa réputation.

50 000 pochettes d'album, un concepteur d'IA autodidacte

Bien que les deux soient des créations secondaires après la copie, l'IA avec des attributs d'outils semble être plus justifiée.

L'artiste de génie espagnol Bruno López, basé sur 50 000 pochettes d'album sur Spotify ont permis au StyleGAN2 de NVIDIA d'apprendre par lui-même. « Évolué » vers un « concepteur d'IA de couvertures d'album abstraites et sans émotion ».

StyleGAN2 a rapidement formé son propre ensemble de spécifications de conception et de genres de style à partir de 50 000 pochettes d'album Spotify.
La véritable pochette de l'album est essentiellement composée de deux parties.Texte et principaux éléments visuels.

Le processus de formation de l’IA est similaire à la façon dont les humains « recherchent des modèles dans les images ». Dans la mise en page de la pochette de l'album,L’IA semble également bien connaître les normes de rapport de taille telles que le nombre d’or, la séquence de Fibonacci et la règle des tiers.

Cependant, le style général des pochettes d'album générées par l'IA est un peu « bizarre », et certaines pochettes peuvent même être décrites comme « horribles » : un visage humain hideux, un œil sans globe oculaire et un arrière-plan dont on ne sait pas s'il s'agit de vagues ou de cadavres d'animaux... sans parler du texte flou et des tons sombres.

En plus d’être affectée par le style des échantillons d’entraînement, l’apparence de ces artefacts est également liée au modèle lui-même. Parce que ces 50 000 données d'entraînement proviennent toutes de la liste de recommandations éditoriales de Spotify.Il n'y a aucune restriction sur le style artistique musical, ce qui conduit à des données de formation insuffisantes pour un seul style et à de graves artefacts et taches.

StyleGAN est une nouvelle structure de réseau de générateur publiée par NVIDIA. Ce modèle s'appuie sur la technologie pertinente du transfert de style, qui permet de modifier les principaux attributs de l'objet cible couche par couche.

En raison de l'existence d'une normalisation d'instance dans AdaIN, certaines informations clés de l'entrée seront perdues pendant le processus de transfert de style, ce qui conduit à l'existence de taches et d'artefacts dans les images générées.

StyleGAN2 est une version améliorée de StyleGAN, qui améliore la qualité des images générées, réduit considérablement l'apparence des artefacts de fonctionnalités et est plus sophistiquée dans le traitement des détails.

Utilisez l'IA pour dessiner la couverture et générer un MV musical

Pour former un concepteur d’IA mature, les données de formation et les modèles pré-entraînés sont essentiels. Bruno López a présenté le processus de naissance de « AI Designer » et a réalisé un MV (clip vidéo) abstrait en utilisant ces reprises.

  Créer un ensemble de données :
1.J'ai trouvé l'API correspondante dans Spotify, qui peut renvoyer plusieurs métadonnées, y compris la couverture de l'album, à partir d'un ID d'album.
2.Écrivez un script d'exploration pour explorer la bibliothèque d'albums dans la liste de recommandations de l'éditeur Spotify et télécharger la pochette de l'album.
3.Obtenez un ensemble de données avec environ 50 000 images et une résolution de 640 × 640.

Processus de formation :

Les auteurs ont été formés en utilisant l'implémentation skyflynil du StyleGAN2 original dans Google Colab Pro. Le processus a pris plusieurs jours et s’est arrêté après 50 000 cycles.

Se fier simplement à l’IA pour générer une pochette d’album brute n’est pas suffisant aux yeux du grand artiste Bruno López.

La vidéo de timing devenue virale sur les réseaux sociaux lui a donné un éclair d'inspiration.

  Réalisez une vidéo de points de cartes :

L'auteur a écrit un script Python basé sur lhzbrian pour créer des vecteurs latents aléatoires, puis interpoler ces vecteurs pour créer une transition animée générée par l'IA.

Afin de synchroniser l'animation avec la chanson, l'auteur a astucieusement utilisé PyDub pour synchroniser la vitesse d'interpolation avec le volume de battement de chaque image.

Enfin, en utilisant le module Image de Pillow et les capacités de détection de visage d’OpenCV, le script peut générer des images avec des caractéristiques spécifiées (comme une couverture d’album jaune sans visages) en utilisant uniquement le vecteur latent.

Bruno a également pris en compte l’expérience du public. Après tout, un clip de quelques secondes laisse toujours un sentiment persistant. Afin de rendre le film final plus agréable, Bruno a eu l'idée de permutations et de combinaisons.

Il a d’abord généré plusieurs clips avec différents attributs, puis les a compressés dans une vidéo à l’aide de Premiere.Il s'agit du dernier film "Interference Music Video".

Le style migre, la créativité migre aussi ?

En art, où se situe la frontière entre création et imitation ?

En termes de processus créatif, la création artistique commence par la copie, la copie de la nature et la copie de la société. Dans le processus d'apprentissage de la génération de pochettes d'album, StyleGAN2 reproduit entièrement le processus de copie des autres jusqu'à la formation d'un style personnel.

Le peintre Qi Baishi soutenait que la beauté de l'art réside dans « l'équilibre entre la similitude et la dissemblance ». Son style de peinture est frais, vivant et unique. En fait, M. Qi a également commencé à copier les peintures d’autres personnes dans ses jeunes années.À force d’appréciation, de copie et de réflexion constantes, j’ai progressivement trouvé mon propre style personnel.

D'un autre côté, les « porteurs de l'industrie du design » plagient au niveau du pixel, signent de leur propre nom et l'utilisent même à des fins commerciales. En termes de capacités commerciales et d’éthique professionnelle, ces créateurs ne sont en effet pas aussi bons que l’IA.

se référer à :https://arxiv.org/pdf/1912.04958.pdfhttps://thenextweb.com/neural/2021/03/08/ai-music-video-deep-learning-algorithm-stylegan2-album-covers-spotify-gans/https://docs.google.com/document/d/1qePvtKTJ3lbpxKfiJ1cn0wAVLazza0Zux4Lb-aTHuBE/edit?usp=sharing