MeLFusion: 画像と言語の手がかりを使用した音楽合成における拡散モデル

音楽は感情や感覚を伝える普遍的な言語であり、映画からソーシャルメディアの投稿まで、創造的メディアの全範囲において重要な役割を果たしています。音楽合成を行う機械学習モデルは、主にその音楽のテキスト説明に基づいて条件付けられています。ミュージシャンが映画の脚本だけでなく、視覚化を通じても曲を作曲することに着想を得て、私たちはテキスト説明と対応する画像から効果的にヒントを取り入れて音楽を合成できるモデル「MeLFusion」を提案します。MeLFusionは、新しい「視覚シナプス（visual synapse）」という機構を持つテキストから音楽への拡散モデルで、視覚モダリティからの意味論的情報を生成された音楽に効果的に組み込むことができます。この分野での研究を促進するために、新しいデータセットMeLBenchと新しい評価指標IMSMを導入します。私たちの包括的な実験評価では、音楽合成プロセスに視覚情報を追加することで、FADスコアで測定した客観的および主観的な品質が大幅に向上することが示されており、最大で67.98%の相対的な改善が見られました。私たちは本研究が実践的であるにもかかわらずまだ十分に探索されていないこの研究領域に対する注目を集めることを期待しています。