منذ 2 أشهر
MusicLM: توليد الموسيقى من النصوص
Agostinelli, Andrea ; Denk, Timo I. ; Borsos, Zalán ; Engel, Jesse ; Verzetti, Mauro ; Caillon, Antoine ; Huang, Qingqing ; Jansen, Aren ; Roberts, Adam ; Tagliasacchi, Marco ; Sharifi, Matt ; Zeghidour, Neil ; Frank, Christian
الملخص
نقدم نموذج MusicLM، وهو نموذج يولد موسيقى عالية الدقة من وصف النصوص مثل "مقطوعة كمان مهدئة مدعومة بملحن جيتار مشوّه". يعتبر MusicLM عملية إنشاء الموسيقى المشروطة مهمة نمذجة تسلسلية هرمية، ويولد الموسيقى بتردد 24 كيلوهرتز مع الحفاظ على التوافق لعدة دقائق. أظهرت تجاربنا أن MusicLM يتفوق على الأنظمة السابقة في جودة الصوت والالتزام بوصف النص. علاوة على ذلك، أثبتنا أن MusicLM يمكن تكييفه بناءً على كل من النص والملحن، حيث يمكنه تحويل الألحان التي يتم صافرتها أو همسها وفقًا للأسلوب الموصوف في تعليق نصي. لدعم البحوث المستقبلية، قمنا بإطلاق مجموعة بيانات MusicCaps بشكل عام، والتي تتكون من 5.5 ألف زوج من الموسيقى والنصوص، مع توفير وصف نصوص غني بواسطة خبراء بشريين.