JEN-1: توليد الموسيقى الشاملة بإرشاد النص باستخدام نماذج الانتشار متعددة الاتجاهات

جذب إنشاء الموسيقى اهتمامًا متزايدًا مع تقدم نماذج التوليد العميقة. ومع ذلك، فإن إنشاء الموسيقى المشروطة بالوصف النصي، المعروفة باسم تحويل النص إلى موسيقى (text-to-music)، لا يزال يمثل تحديًا بسبب تعقيد الهياكل الموسيقية ومتطلبات معدلات العينة المرتفعة. رغم أهمية هذه المهمة، فإن النماذج التوليدية السائدة تظهر قيودًا في جودة الموسيقى وكفاءة الحوسبة والتوسع. يقدم هذا البحث JEN-1، وهو نموذج عالمي ذو دقة عالية لإنشاء الموسيقى من النصوص. يتضمن JEN-1 نموذج الانتشار (diffusion model) الذي يدمج بين التدريب الذاتي المتتابع وغير المتتابع. من خلال التعلم السياقي، يقوم JEN-1 بمجموعة متنوعة من مهام الإنشاء، بما في ذلك إنشاء الموسيقى ب导读 النص، وإعادة بناء الأجزاء المفقودة من القطع الموسيقية (music inpainting)، واستمرار القطع الموسيقية. تُظهر التقييمات أداء JEN-1 المتفوق على أفضل الأساليب الحالية في تناسق النص مع الموسيقى وجودة الموسيقى مع الحفاظ على كفاءة الحوسبة. يمكن الوصول إلى عروضنا التجريبية عبر الرابط: https://jenmusic.ai/audio-demos