موسيقى الترانسفورمر

تعتمد الموسيقى بشكل كبير على التكرار لبناء الهيكل والمعنى. يحدث الإشارة الذاتية على نطاقات زمنية متعددة، من النماذج إلى الجمل وحتى إعادة استخدام أقسام كاملة من الموسيقى، مثل في القطع ذات البنية ABA. حققت نموذج الـ Transformer (Vaswani وآخرون، 2017)، وهو نموذج تتابعي يعتمد على الانتباه الذاتي، نتائج مثيرة للإعجاب في العديد من المهام التوليدية التي تتطلب الحفاظ على تماسك طويل المدى. هذا يشير إلى أن الانتباه الذاتي قد يكون أيضًا مناسبًا جدًا لنمذجة الموسيقى. ومع ذلك، فإن توقيت النسب مهم للغاية في التأليف والتنفيذ الموسيقي. تعدل الأساليب الحالية لتمثيل المعلومات الموضعية النسبية في الـ Transformer انتباهها بناءً على المسافة الثنائية (Shaw وآخرون، 2018). وهذا غير عملي للسلاسل الطويلة مثل التأليفات الموسيقية، حيث تعقد ذاكرة المعلومات النسبية الوسيطة تربيعية بطول السلسلة. نقترح خوارزمية تقلل من متطلبات الذاكرة الوسيطة الخاصة بهم إلى خطية بطول السلسلة. هذا يمكّننا من إظهار أن الـ Transformer مع آلية انتباهنا النسبي المعدلة يمكنه إنشاء تأليفات موسيقية تستمر لمدة دقيقة (آلاف الخطوات، أربع مرات طول ما تم نمذجته في Oore وآخرون، 2018) ذات هيكل مثير للإعجاب، وإنشاء استمرارات تنظم بشكل متماسك حول نموذج معين، وفي إطار seq2seq يمكنه إنشاء مرافقات مشروطة بالألحان. قمنا بتقييم الـ Transformer مع آليتنا للانتباه النسبي على مجموعة بيانات JSB Chorales ومجموعة بيانات Piano-e-Competition وحصلنا على أفضل النتائج المتاحة حاليًا في الأخيرة.请注意，对于一些特定的术语，例如 "Transformer" 和 "self-attention"，我保留了英文原词，因为这些术语在阿拉伯语的科技文献中通常直接使用英文。如果需要进一步本地化的翻译，请告知。