التعلم المقابل متعدد التنسيقات للتمثيلات الصوتية

تشير التطورات الحديثة إلى ميزة التدريب متعدد الوسائط مقارنةً بالأساليب الأحادية الوسائط. وخلافًا لهذه الرؤية، نجد في عملنا أن نفس المكاسب يمكن تحقيقها من خلال التدريب باستخدام صيغ مختلفة لنوع وسائط واحد. وبشكل خاص، نستكشف استخدام إطار التعلم التبايني (contrastive learning) لتعلم تمثيلات صوتية من خلال تعظيم التوافق بين الصوت الخام وتمثيله الطيفي. ونلاحظ تحسنًا ملحوظًا باستخدام هذه الاستراتيجية متعددة الصيغ مقارنةً بالبدائل الأحادية الصيغة. علاوةً على ذلك، حققت طريقة الصوت فقط لدينا نتائج جديدة قياسية على مهام التصنيف اللاحقة مثل AudioSet وESC-50، حيث بلغ متوسط الدقة المتوسطة (mean average precision) 0.376 والدقة 90.5% على التوالي.