ATST: تعلم تمثيل الصوت باستخدام متغير المعلم-الطالب

التعلم ذاتي الإشراف (SSL) يتعلم المعرفة من كمية كبيرة من البيانات غير المصنفة، ثم ينقل هذه المعرفة إلى مشكلة محددة باستخدام عدد محدود من البيانات المصنفة. حقق التعلم ذاتي الإشراف نتائج واعدة في مجالات مختلفة. تتناول هذه الدراسة مشكلة التعلم ذاتي الإشراف الصوتي العام على مستوى المقاطع، وتقدم نموذجًا جديدًا قائمًا على الشبكات العصبية التحويلية (transformer) بنمط المعلم-التلميذ، يُسمى ATST. تم تطوير مُشفِّر تحويلي (transformer encoder) على أساس خطة أساسية حديثة ظهرت مؤخرًا للمعلم-التلميذ، مما يحسن بشكل كبير قدرة النمذجة في مرحلة التدريب الأولي. بالإضافة إلى ذلك، تم تصميم استراتيجية جديدة لإنشاء الأزواج الإيجابية بهدف الاستفادة الكاملة من قدرات الشبكة العصبية التحويلية. أجريت تجارب واسعة النطاق، وقد حقق النموذج المقترح أفضل النتائج الحالية في معظم المهام اللاحقة.