نظام تحويل الموسيقى البيانوية المتعددة الأصوات المستند إلى الترابطات التبادلية بين حالات الملاحظات الموسيقية المختلفة

بشكل عام، تم تصميم أنظمة تحويل الموسيقى البوليفونية للبيانو لتقدير وتحديد نشاطات الترددات، إلى جانب مختلف حالات الملاحظات لكل إطار صوتي. وعلى الرغم من الاستخدامات المتعددة لأنظمة تحويل الموسيقى في مجال استرجاع معلومات الموسيقى (MIR)، إلا أن التنبؤ بدقة بحالات الملاحظات المختلفة لا يزال يُعد مهمة صعبة نظرًا للهياكل المعقدة لحدث الملاحظات. وعليه، تطورت النماذج المبنية على شبكات عصبية لتيسير التنبؤ المشترك بحالة كل ملاحظة. ومع ذلك، لم تتمكن النماذج الحديثة من استغلال الترابطات المتبادلة بين حالات الملاحظات المختلفة بكفاءة. وتمثل المساهمة الأساسية في عملنا التحقق من الترابطات المتبادلة بين حالات الملاحظات المختلفة، وتعكسها في بنية النموذج. ويعمل هذا على تمكين نظام التحويل من التعرف على أحداث الملاحظات بشكل أكثر وضوحًا وإنتاج نتائج عالية الجودة في البيئات الواقعية. ونُقدّم وحدة است extractor للسمات مشاركة للنواة (kernel-sharing feature extractor) بهدف استغلال هذه الترابطات المتبادلة في مرحلة استخلاص السمات. علاوةً على ذلك، ولتمكين النظام من التعرف على شكل غلاف التردد (pitch envelope)، أضفنا بعض الاتصالات بين وحدات الكشف الخاصة بكل حالة ملاحظة في مرحلة كشف حالات الملاحظات. وقد تم التحقق الشامل من فعالية بنية نموذجنا من خلال سلسلة من التجارب باستخدام مجموعة البيانات MAESTRO المتوفرة علنًا، التي قدمها فريق Google Magenta. بالإضافة إلى ذلك، أجرينا دراسات تحليلية (ablation studies) لتوضيح مفهوم الترابطات المتبادلة، وعرض التأثير والقيمة المضافة للنهج المقترح.