AI 디자이너, 5만 장의 앨범 커버를 분석한 후 미친 듯한 결과물 내놓아

스페인 예술가는 StyleGAN2를 사용하여 AI 디자이너를 만들었는데, 이 AI 디자이너는 50,000개의 이미지를 이용해 스스로 학습했습니다. 그는 인상파 디자이너를 양성하는 것이 그렇게 쉬울 것이라고는 예상하지 못했습니다.

어쩌면 어떤 디자인은 너무나 고전적이고 뛰어나서 사람들이 모방하지 않을 수 없을지도 모릅니다.

그제 '바람과 파도를 타고'로 세간의 주목을 받았던 멍지가 신곡을 발표했는데, 앨범 커버가 인스타그램 유명인의 작품을 그대로 표절했다는 비난을 받았습니다.
얼마 지나지 않아 여배우 송쭈얼의 스타일링 디자인이 한국 스타의 앨범 커버를 픽셀 단위로 모방한 것으로 지적됐고, 원본 워터마크도 제거되지 않은 것으로 드러났다. 디자인 창의성이 실제로 쉽지 않다는 것을 알 수 있습니다.

창의적인 일을 하는 사람들은 영감이 고갈되기 마련이다.의도적이든 아니든 다른 사람의 작품을 참조하거나, 차용하거나, 모방합니다. "예술가의 작품이라면 도둑질로 볼 수 있을까요?"
네티즌들의 비난에 직면하면서 스타는 체면을 잃었을 뿐만 아니라, 디자이너 역시 명예를 잃었습니다.

AI 디자이너, 앨범 커버 5만장 직접 학습

둘 다 복제 후의 2차적 창조물이기는 하지만, 도구적 속성을 지닌 AI가 더 정당해 보인다.

스페인의 천재 예술가 브루노 로페즈는 Spotify의 50,000개 앨범 커버를 통해 NVIDIA의 StyleGAN2가 스스로 학습할 수 있게 되었습니다. "감정이 없고 추상적인 앨범 커버 AI 디자이너"로 "진화"했습니다.

StyleGAN2는 50,000개의 Spotify 앨범 커버를 바탕으로 자체적인 디자인 사양과 스타일 장르 세트를 빠르게 형성했습니다.
실제 앨범 커버는 기본적으로 두 부분으로 구성되어 있습니다.텍스트와 주요 시각적 요소.

AI의 학습 과정은 인간이 '그림에서 패턴을 찾는' 방식과 유사합니다. 앨범 커버의 레이아웃에서,AI는 황금비율, 피보나치 수열, 삼분법칙 등의 크기 비율 표준에도 정통한 것으로 보입니다.

하지만 AI가 생성한 앨범 커버의 전반적인 스타일은 약간 "이상"하며, 일부 커버는 "끔찍하다"고 표현할 수도 있다. 흉측한 인간 얼굴, 안구가 없는 눈, 파도인지 동물의 시체인지 불분명한 배경... 흐릿한 텍스트와 우울한 톤은 말할 것도 없다.

이러한 아티팩트의 출현은 훈련 샘플의 스타일의 영향을 받는 것 외에도 모델 자체와도 관련이 있습니다. 이 50,000개의 훈련 데이터는 모두 Spotify의 편집 추천 목록에서 나온 것입니다.음악적 예술 스타일에 대한 제한이 없기 때문에 단일 스타일에 대한 훈련 데이터가 부족하고 아티팩트와 반점이 심각합니다.

StyleGAN은 NVIDIA가 출시한 새로운 생성기 네트워크 구조입니다. 이 모델은 대상 객체의 주요 속성을 레이어별로 수정할 수 있는 스타일 전송의 관련 기술을 활용합니다.

AdaIN에는 인스턴스 정규화가 있기 때문에 스타일 전송 과정에서 입력의 일부 주요 정보가 손실되고, 그로 인해 생성된 이미지에 얼룩과 아티팩트가 존재하게 됩니다.

StyleGAN2는 StyleGAN의 업그레이드 버전으로, 생성된 이미지의 품질을 개선하고, 특징 아티팩트의 발생을 크게 줄였으며, 세부 처리가 더욱 정교해졌습니다.

AI를 활용해 커버곡을 그리며 뮤직비디오를 제작하세요

성숙한 AI 설계자를 훈련시키려면 훈련 데이터와 사전 훈련된 모델이 필수적입니다. 브루노 로페스는 "AI 디자이너"의 탄생 과정을 소개하고 이러한 커버곡을 사용하여 추상적인 MV(뮤직 비디오)를 만들었습니다.

  데이터세트 만들기:
1.Spotify에서 해당 API를 찾았는데, 앨범 ID가 주어지면 앨범 커버를 포함한 여러 메타데이터를 반환할 수 있습니다.
2.Spotify 편집기 추천 목록에서 앨범 라이브러리를 크롤링하고 앨범 커버를 다운로드하는 크롤러 스크립트를 작성하세요.
3.약 50,000개의 이미지와 640×640 해상도의 데이터 세트를 얻으세요.

훈련 과정:

저자는 Google Colab Pro에서 원래 StyleGAN2의 skyflynil 구현을 사용하여 훈련했습니다. 이 과정은 며칠이 걸렸고 50,000번 반복한 후 중단되었습니다.

위대한 예술가 브루노 로페즈의 눈에는 AI에 의존해 엉성한 앨범 커버를 만드는 것만으로는 충분하지 않습니다.

소셜 네트워크에서 급속도로 퍼진 타이밍 영상이 그에게 영감을 불어넣었습니다.

  카드 포인트 영상 만들기:

저자는 lhzbrian을 기반으로 한 Python 스크립트를 작성하여 무작위 잠재 벡터를 만든 다음 이 벡터를 보간하여 AI가 생성한 애니메이션 전환을 만들었습니다.

애니메이션을 노래와 동기화하기 위해 저자는 PyDub을 교묘하게 사용하여 보간 속도를 각 프레임의 비트 볼륨과 동기화했습니다.

마지막으로 Pillow의 이미지 모듈과 OpenCV의 얼굴 감지 기능을 사용하면 스크립트는 잠재 벡터만을 사용하여 지정된 특징(예: 얼굴이 없는 노란색 앨범 커버)이 있는 이미지를 생성할 수 있습니다.

브루노는 또한 청중의 경험을 고려했습니다. 결국 몇 초 분량의 영상은 항상 긴 여운을 남기기 마련이죠. 최종 영화를 더 즐겁게 만들기 위해 브루노는 순열과 조합이라는 아이디어를 생각해냈습니다.

그는 먼저 서로 다른 속성을 가진 여러 개의 클립을 생성한 다음 Premiere를 사용하여 이를 비디오로 압축했습니다.이것은 마지막 "Interference 뮤직 비디오" 영화입니다.

스타일이 이동하면 창의성도 이동합니까?

예술에서 창조와 모방의 경계는 어디에 있을까?

창작 과정 측면에서 볼 때, 예술적 창조는 모두 모방, 자연 모방, 사회 모방으로 시작됩니다. 앨범 커버를 생성하는 방법을 배우는 과정에서 StyleGAN2는 다른 사람의 작품을 모방하는 것부터 개인 스타일을 형성하는 것까지의 과정을 완벽하게 재현합니다.

화가 치바이스는 예술의 아름다움은 "유사함과 차이점의 균형"에 있다고 주장했습니다. 그의 그림 스타일은 신선하고 생생하며 독특합니다. 사실, 치 선생도 어린 시절부터 다른 사람의 그림을 모방하면서 그림을 그리기 시작했습니다.끊임없이 감상하고, 모방하고, 생각하면서 저는 점차 나만의 스타일을 찾았습니다.

반면, "디자인업계의 짐꾼"들은 픽셀 단위로 표절을 하고, 자신의 이름을 내걸고, 심지어 상업적 이익을 위해 이용하기도 합니다. 사업적 역량과 직업적 윤리의 관점에서 볼 때, 이런 창작자들은 실제로 AI만큼 뛰어나지 못합니다.

참조:https://arxiv.org/pdf/1912.04958.pdfhttps://thenextweb.com/neural/2021/03/08/ai-music-video-deep-learning-algorithm-stylegan2-album-covers-spotify-gans/https://docs.google.com/document/d/1qePvtKTJ3lbpxKfiJ1cn0wAVLazza0Zux4Lb-aTHuBE/edit?usp=sharing