ربط متجهات الكلمات وتصنيفات الكلمات: إطار الخسارة للنمذجة اللغوية

الشبكات العصبية التكرارية حققت نجاحًا كبيرًا في توقع سلاسل الكلمات في مهام مثل نمذجة اللغة. ومع ذلك، فإن جميع هذه النماذج تعتمد على الإطار التقليدي للتصنيف، حيث يتم تدريب النموذج على أهداف "واحد-ساخن" (one-hot targets)، وتمثل كل كلمة كمدخل وكخرج بشكل منفصل. هذا يؤدي إلى عدم كفاءة في التعلم من حيث استخدام جميع المعلومات ومن حيث عدد المعلمات اللازمة للتدريب. نقدم إطارًا نظريًا جديدًا يسهل التعلم الأفضل في نمذجة اللغة، ونوضح أن إطاراتنا تقود إلى ربط مصفوفات التضمين المدخلية ومصفوفات الإسقاط الخرجية معًا، مما يقلل بشكل كبير من عدد المتغيرات القابلة للتدريب. يؤدي إطارنا إلى تحقيق أداء يتفوق على أفضل ما هو موجود حاليًا في بنك شجرة بنسلفانيا (Penn Treebank) باستخدام مجموعة متنوعة من نماذج الشبكة.