要約
本論文では、テキストから音楽を生成するためのトランスフォーマーに拡張を加えた単純な拡散ベースの修正フローについて考察します。この手法はFluxMusicと呼ばれています。一般的に、最先端のFluxモデル（https://github.com/black-forest-labs/flux）の設計に基づき、メルスペクトログラムの潜在VAE空間に変換します。これにはまず、テキストと音楽の二重ストリームに対して一連の独立したアテンションを適用し、その後、ノイズ除去パッチ予測のために単一の音楽ストリームを積み重ねるプロセスが含まれます。私たちは複数の事前学習済みテキストエンコーダーを使用して、キャプションの意味情報を十分に捉えつつ推論の柔軟性も確保しています。中間段階では、時間ステップ埋め込みとともに粗いテキスト情報が調節機構で利用され、細かいテキスト詳細は音楽パッチシーケンスと連結されて入力として使用されます。詳細な研究を通じて、最適化されたアーキテクチャでの修正フロー訓練が既存の拡散方法よりもテキストから音楽への生成タスクにおいて著しく優れていることを示しています。これは様々な自動評価指標や人間による好み評価によって裏付けられています。当該実験データ、コードおよびモデルウェイトは公開されており、以下のURLからアクセスできます: https://github.com/feizc/FluxMusic.