الطالب أصبح المعلم: تقطير تمثيل الكلمات بناءً على نموذج المعلم-الطالب مع التعلم الجماعي

التطورات الحديثة في التعلم العميق قد سهلت الطلب على نماذج العصبونات لتطبيقات حقيقية. في الممارسة العملية، غالباً ما تحتاج هذه التطبيقات إلى التنفيذ مع موارد محدودة مع الحفاظ على الدقة العالية. تتناول هذه الورقة جوهر نماذج العصبونات في معالجة اللغة الطبيعية (NLP)، وهي تمثيلات الكلمات، وتقترح إطار عمل جديد لتقطير التمثيلات يقلل بشكل كبير من بُعد تمثيلات الكلمات دون المساس بالدقة. كما يتم اقتراح نهج جديد للتوظيف الجماعي يقوم بتدريب نموذج طالب فعال للغاية باستخدام عدة نماذج معلمة. في نهجنا، تقوم النماذج المعلمة بأدوار فقط أثناء التدريب بحيث يعمل النموذج الطالب بمفرده دون الحصول على دعم من النماذج المعلمة أثناء فك الرمز، مما يجعله أسرع وأخف وزناً بمقدار ثمانين مرة من الأساليب الجماعية الأخرى النموذجية. يتم تقييم جميع النماذج على سبعة مجموعات بيانات تصنيف المستندات وتظهر أفضلية كبيرة على النماذج المعلمة في معظم الحالات. توضح تحليلاتنا تحويلًا مفيدًا لتمثيلات الكلمات من خلال عملية التقطير وتقترح اتجاهًا مستقبليًا للأساليب الجماعية باستخدام نماذج العصبونات.