5万枚のアルバムジャケットを見た後、AIデザイナーが狂ったように出力した

スペインのアーティストは、StyleGAN2 を使用して AI デザイナーを作成し、50,000 枚の画像を使って独学で印象派のデザイナーを訓練できるとは予想していませんでした。

もしかしたら、クラシックすぎて目立つデザインがあり、人々はそれを真似せずにはいられないのかもしれません。

一昨日、風と波に乗って聴衆の注目を集めていた孟佳が新曲をリリースしたところ、アルバムのジャケットがインスタグラムの有名人からの盗作と盗作で告発された。
その後間もなく、俳優ソン・ズアーのスタイルデザインも、元の透かしを削除することなく、韓国スターのアルバムジャケットのピクセルレベルの盗用であると指摘されました。これは、デザインにおいて創造性を発揮することが実際に容易ではないことを示しています。

クリエイティブな仕事に従事している人は、どうしてもインスピレーションが枯渇してしまいます。意図的または非意図的に、他人の作品を参照、借用、模倣すること。 「アーティストの不倫は窃盗とみなされるのか？」
結局のところ、ネチズンからの非難に直面して、有名人は面目を失っただけでなく、デザイナーも評判を失いました。

50,000 枚のアルバム カバー、AI デザイナーは独学で学んだ

移転後の二次創作でもあり、道具属性を持ったAIの方が自信があるようです。

スペインのゴーストアーティスト、ブルーノ・ロペスをモデルにした作品 Spotify の 50,000 枚のアルバム カバーにより、NVIDIA のアーティファクト StyleGAN2 が独学で使用できるようになりました。 「感情のない抽象的なアルバムジャケットAIデザイナー」が「進化」した。

StyleGAN2 は、50,000 の Spotify アルバム カバーから独自のデザイン仕様とスタイル ジャンルのセットを迅速に作成しました。
実際のアルバムジャケットは基本的に2つの部分で構成されており、テキストと主要な視覚要素。

AIの学習プロセスは、人間がアルバムジャケットのレイアウトで「写真を見てパターンを見つける」のと似ています。AIは黄金比、フィボナッチ数列、三分法などの次元比率の規範にも精通しているようです。

ただし、AI によって生成されたアルバム ジャケットの全体的なスタイルは少し「奇妙」で、いくつかのカバーは「ホラー」とさえ形容できます。恐ろしい顔、片方の眼球が欠けている、そしてそれがホラーであるかどうか区別できない背景です。波や動物の骨…ぼやけたテキストや暗いトーンは言うまでもありません。

これらのアーティファクトの発生は、トレーニング サンプルのスタイルの影響を受けるだけでなく、モデル自体にも関係します。なぜなら、これらの 50,000 のトレーニング データはすべて Spotify の編集者の推奨リストから取得されているからです。音楽アート スタイルには制限がないため、単一スタイルのトレーニング データが不十分になり、より深刻なアーティファクトやスポットが発生します。

StyleGAN は、NVIDIA がリリースした新しいジェネレーター ネットワーク構造です。このモデルは、スタイル転送の関連技術を利用しており、ターゲット オブジェクトの主要な属性の入力をレイヤーごとに変更できます。

AdaIN にはインスタンス正規化が存在するため、スタイル転送プロセス中に入力の重要な情報の一部が失われ、生成された画像にスポットやアーティファクトが存在することになります。

StyleGAN2 は StyleGAN のアップグレード バージョンで、生成される画像の品質が向上し、フィーチャ アーティファクトの発生が大幅に減少し、詳細な処理がより洗練されています。

AI が描いたカバーを使用して、スタックした音楽 MV を生成する

成熟した AI デザイナーを育成するには、トレーニング データと事前トレーニングされたモデルが不可欠です。ブルーノ・ロペスは「AIデザイナー」の誕生過程を紹介するとともに、これらのカバーを使用した抽象的なMV（ミュージックビデオ）も制作した。

  データセットを作成します。
1.Spotify で対応する API を見つけます。アルバム ID を指定すると、アルバム カバーを含む複数のメタデータを返すことができます。
2.Spotify のエディターの推奨リストにあるアルバム ライブラリをクロールし、アルバム カバーをダウンロードするクローラー スクリプトを作成します。
3.数が約 50,000、画像解像度が 640×640 のデータ セットを取得します。

トレーニングプロセス:

著者は、Google Colab Pro でオリジナルの StyleGAN2 の Skyflynil 実装を使用してトレーニングしました。このプロセスには数日かかり、50,000 サイクル後に停止しました。

AI に頼って少しラフなアルバム ジャケットを生成するだけでは、偉大なアーティストであるブルーノ ロペスにとってはほとんど意味がないようです。

ソーシャルネットワーク上で広まった「カディアン」のビデオが彼にアイデアを与えた。

  行き詰まったビデオを作成します。

著者は、lhzbrian に基づいて Python スクリプトを作成し、ランダムな潜在ベクトルを作成し、これらのベクトルを補間して AI によって生成されるアニメーション トランジションを作成しました。

アニメーションと曲を同期させるために、作者は PyDub を巧みに使用して、補間速度と各フレームのビート ボリュームを同期させました。

最後に、Pillow の Image モジュールと OpenCV の顔検出機能を使用すると、スクリプトは潜在ベクトルのみを使用して、指定された特徴 (顔が含まれていない黄色のアルバムの表紙など) を持つ画像を生成できます。

ブルーノはまた、視聴者の体験を非常に考慮しています。結局のところ、数秒のクリップでは常にコンテンツが未完成であるという印象が残ります。最終的な映画をより楽しく見るために、ブルーノは順列を考えました。

彼はまず、異なる属性を持つ複数のクリップを生成し、次に Premiere を使用してそれらをビデオに圧縮しました。最後の「Interference Music Video」です。

スタイルが移行すると、アイデアも移行しますか?

芸術において、創作と模倣の境界はどこにあるのでしょうか？

創造的なプロセスに関して言えば、芸術的創造はすべて、自然をコピーし、社会をコピーすることから始まります。 StyleGAN2 は、アルバム カバーの生成方法を学習する過程で、他人のコピーから個人のスタイルの形成までのプロセスを完全に再現します。

画家のチー・バイシは、芸術の美しさは類似性と非類似性の間にあると信じています。彼の絵画スタイルは精神的かつ精神的であり、独自のものです。実際、チー氏も初期の頃は他人の絵を模写することから始めました。絶え間なく鑑賞し、模倣し、考えることによって、私は徐々に自分自身のスタイルを見つけました。

「デザイン界のポーター」によるピクセルレベルの盗作を振り返ると、彼らは自分の名前を付けて、商業的利益のためにそれを使用することさえあります。ビジネス能力や職業倫理の観点から見ると、これらのクリエイターは確かにAIに劣ります。

参照:https://arxiv.org/pdf/1912.04958.pdfhttps://thenextweb.com/neural/2021/03/08/ai-music-video-deep-learning-algorithm-stylegan2-album-covers-spotify-gans/https://docs.google.com/document/d/1qePvtKTJ3lbpxKfiJ1cn0wAVLazza0Zux4Lb-aTHuBE/edit?usp=sharing