BYOL-S: تعلّم تمثيلات الصوت ذاتية التدريب من خلال التأطير المُعزّز

تم دراسة أساليب استخراج الميزات الصوتية واللغوية منذ الأعمال الرائدة في تحليل الطيف منذ عقود. وتشير الجهود الحديثة إلى الطموح بتطوير تمثيلات صوتية عامة الغرض. على سبيل المثال، يمكن لشبكات العصب العميقة استخلاص تمثيلات مثلى إذا تم تدريبها على مجموعات بيانات صوتية كبيرة. تُوسِّع هذه الدراسة الأساليب الحالية القائمة على التعلم ذاتي التوجيه من خلال عملية التغذية المرتدة (bootstrapping)، وتقترح مجموعة متنوعة من هياكل المشفرات (encoder architectures)، وتنظر في تأثير استخدام مجموعات بيانات ما قبل التدريب المختلفة. وأخيرًا، نقدم إطارًا تدريبيًا جديدًا لتطوير تمثيل صوتي هجين، يجمع بين الميزات الصوتية المُصممة يدويًا والميزات المستخلصة من البيانات عبر التعلم. وقد تم تقييم جميع التمثيلات المقترحة ضمن تحدي HEAR في مؤتمر NeurIPS 2021 المتعلق بتصنيف المشهد الصوتي وكشف التوقيتات الزمنية. وتُظهر نتائجنا أن النموذج الهجين الذي يستخدم مُشفرًا من نوع التحويلة التلافيفية (convolutional transformer) يحقق أداءً متفوقًا في معظم مهام تحدي HEAR.