2ヶ月前

室内楽アンサンブルジェネレーター:生成モデルを用いた無限の高品質MIRデータ

Yusong Wu; Josh Gardner; Ethan Manilow; Ian Simon; Curtis Hawthorne; Jesse Engel
室内楽アンサンブルジェネレーター:生成モデルを用いた無限の高品質MIRデータ
要約

データは現代の機械学習システム、特に音楽情報検索(MIR)におけるシステムの命脈です。しかし、MIRは長年にわたり小規模なデータセットと信頼性の低いラベルに悩まされてきました。本研究では、生成モデルを使用してこのボトルネックを打破することを提案します。バッハのコーラル曲で訓練されたノートの生成モデル(Coconet)と、URMPで訓練された室内楽アンサンブルの構造的な合成モデル(MIDI-DDSP)をパイプライン化することで、現実的なコーラル音楽を無限に生成し、ミックス、ステム、MIDI、ノートレベルの演奏属性(スタッカート、ビブラートなど)、さらには細かい合成パラメータ(ピッチ、振幅など)を含む豊富なアノテーションを持つシステムを開発しました。このシステムを室内楽アンサンブルジェネレーター(CEG: Chamber Ensemble Generator)と呼び、4つの異なる室内楽アンサンブルから大規模なコーラルデータセット(CocoChorales)を生成しました。我々の手法で生成したデータが最新の音楽転写およびソース分離モデルの性能向上に寄与することを示し、システムとデータセットをオープンソースとして提供することで、MIRコミュニティにおける今後の研究の基盤となることを目指しています。

室内楽アンサンブルジェネレーター:生成モデルを用いた無限の高品質MIRデータ | 最新論文 | HyperAI超神経