Jointist: التعلم المشترك لترميز الآلات الموسيقية المتعددة وتطبيقاته

في هذا البحث، نقدم جوينتست (Jointist)، وهو إطار متعدد الآلات الموسيقية يعي للمعدات، قادر على ترقيم وتمييز وفصل عدة آلات موسيقية من مقطع صوتي. يتكون جوينتست من وحدة تمييز الآلات التي تحدد الوحدات الأخرى: وحدة الترقيم التي تنتج رولات بيانو خاصة بالآلة، ووحدة فصل المصادر التي تستفيد من المعلومات حول الآلات والنتائج التي أنتجتها وحدة الترقيم.تصميم تحديد الآلة يتم بطريقة تعزز الوظائف المتعددة للآلات بشكل صريح، بينما الارتباط بين وحدة الترقيم ووحدة فصل المصادر يهدف إلى تحسين أداء الترقيم. صياغتنا للمشكلة الصعبة تجعل النموذج شديد الفائدة في العالم الحقيقي، نظرًا لأن الموسيقى الشعبية الحديثة غالبًا ما تتكون من عدة آلات موسيقية. ومع ذلك، فإن طابعه الجديد يتطلب وجهة نظر جديدة حول كيفية تقييم مثل هذا النموذج. خلال التجربة، قمنا بتقييم النموذج من جوانب مختلفة، مما يقدم وجهة نظر تقييمية جديدة لترقيم الآلات الموسيقية المتعددة. كما ندعي أن نماذج الترقيم يمكن استخدامها كوحدة معالجة أولية لمهام تحليل الموسيقى الأخرى. في التجربة على عدة مهام لاحقة، ثبت أن التمثيل الرمزي الذي توفره نموذجنا للترقيم كان مفيدًا للصور الطيفية في حل مشكلات اكتشاف الدونبيت (downbeat) وتعرف الأوتار والتقدير المفتاحي (key estimation).