2ヶ月前

Jointist: 複数楽器のトランスクライプとその応用における統合学習

Cheuk, Kin Wai ; Choi, Keunwoo ; Kong, Qiuqiang ; Li, Bochen ; Won, Minz ; Hung, Amy ; Wang, Ju-Chiang ; Herremans, Dorien
Jointist: 複数楽器のトランスクライプとその応用における統合学習
要約

本論文では、Jointistという楽器認識機能を備えた多楽器フレームワークを紹介します。このフレームワークは、音声クリップから複数の楽器を転写、認識、分離する能力を持っています。Jointistは、他のモジュールに条件を与える楽器認識モジュール、楽器固有のピアノロールを出力する転写モジュール、および楽器情報と転写結果を利用したソース分離モジュールで構成されています。楽器条件付けは明示的な多楽器機能のために設計されており、転写モジュールとソース分離モジュールの間の接続はより良い転写性能のためです。我々が取り組む課題設定は挑戦的であり、現代のポップミュージックが通常複数の楽器から構成されていることを考慮すると、このモデルは現実世界で非常に有用です。しかし、その新規性により、このようなモデルを評価する新しい視点が必要となります。実験中には、モデルを様々な観点から評価し、多楽器転写に対する新しい評価方法を提供しています。また、転写モデルが他の音楽分析タスクの前処理モジュールとして利用できる可能性についても議論しています。いくつかの下流タスクにおける実験では、我々の転写モデルによって提供されるシンボリック表現がスペクトログラムに対してダウンビート検出、コード認識、キー推定において役立つことが確認されました。