نُظهر أن النماذج اللغوية التي تم تدريبها مسبقًا على صوت موسيقي مُرمَّز (مُشفر بشكل منفصل) تتعلم تمثيلات مفيدة للمهام اللاحقة في مجال معالجة الموسيقى المعلوماتية (MIR). وبشكل خاص، نستكشف التمثيلات المستمدة من نموذج Jukebox (Dhariwal et al. 2020): نظام توليد موسيقى يحتوي على نموذج لغوي تم تدريبه على صوت مُرمَّز مستمد من مليون أغنية. ولتحديد ما إذا كانت التمثيلات التي يوفرها Jukebox تحوي معلومات مفيدة لمهام MIR، نستخدمها كمُدخلات مميزة لتدريب نماذج بسيطة على عدة مهام في MIR. ونجد أن استخدام التمثيلات من Jukebox كمُدخلات مميزة يحقق أداءً أقوى بنسبة 30٪ في المتوسط مقارنةً بالتمثيلات المستمدة من النماذج التقليدية في MIR التي تم تدريبها مسبقًا على التصنيف (tagging)، وذلك عبر أربع مهام في MIR: التصنيف التصنيفي، تصنيف النوع الموسيقي، تمييز المشاعر، وكشف المفتاح الموسيقي. وبالنسبة لكشف المفتاح الموسيقي، نلاحظ أن تمثيلات Jukebox أقوى بشكل ملحوظ من تلك التي توفرها النماذج التي تم تدريبها مسبقًا على التصنيف، مما يشير إلى أن التدريب المسبق عبر نمذجة لغوية للصوت المُرمَّز قد يعالج فجوات في الطرق التقليدية. ونفسر قوة التمثيلات من Jukebox على أنها دليل على أن نمذجة الصوت بدلًا من التصنيفات (الوسوم) توفر تمثيلات أكثر غنىً لمهام معالجة الموسيقى المعلوماتية.