MusicLM: テキストから音楽を生成する

私たちはMusicLMというモデルを紹介します。このモデルは、「歪んだギターリフに支えられた落ち着いたヴァイオリンのメロディ」などのテキスト記述から高忠実度の音楽を生成することができます。MusicLMは、条件付き音楽生成プロセスを階層的な系列対系列モデリングタスクとして捉えており、24 kHzで数分間にわたって一貫した音楽を生成します。私たちの実験結果は、MusicLMが以前のシステムよりも音質とテキスト記述への適合性において優れていることを示しています。さらに、MusicLMはテキストとメロディの両方に条件付け可能であり、ヒューミングやホイッスルされたメロディをテキストキャプションで説明されたスタイルに変換することができる点も示しました。将来の研究を支援するために、私たちは5,500件の音楽-テキストペアから構成され、人間の専門家によって提供された豊富なテキスト記述が含まれるデータセット「MusicCaps」を公開します。