HyperAIHyperAI

Command Palette

Search for a command to run...

Jointist: 複数楽器のトランスクライプとその応用における統合学習

Kin Wai Cheuk Keunwoo Choi Qiuqiang Kong Bochen Li Minz Won Amy Hung Ju-Chiang Wang Dorien Herremans

概要

本論文では、Jointistという楽器認識機能を備えた多楽器フレームワークを紹介します。このフレームワークは、音声クリップから複数の楽器を転写、認識、分離する能力を持っています。Jointistは、他のモジュールに条件を与える楽器認識モジュール、楽器固有のピアノロールを出力する転写モジュール、および楽器情報と転写結果を利用したソース分離モジュールで構成されています。楽器条件付けは明示的な多楽器機能のために設計されており、転写モジュールとソース分離モジュールの間の接続はより良い転写性能のためです。我々が取り組む課題設定は挑戦的であり、現代のポップミュージックが通常複数の楽器から構成されていることを考慮すると、このモデルは現実世界で非常に有用です。しかし、その新規性により、このようなモデルを評価する新しい視点が必要となります。実験中には、モデルを様々な観点から評価し、多楽器転写に対する新しい評価方法を提供しています。また、転写モデルが他の音楽分析タスクの前処理モジュールとして利用できる可能性についても議論しています。いくつかの下流タスクにおける実験では、我々の転写モデルによって提供されるシンボリック表現がスペクトログラムに対してダウンビート検出、コード認識、キー推定において役立つことが確認されました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
Jointist: 複数楽器のトランスクライプとその応用における統合学習 | 記事 | HyperAI超神経