HyperAIHyperAI

Command Palette

Search for a command to run...

ربط متجهات الكلمات وتصنيفات الكلمات: إطار الخسارة للنمذجة اللغوية

Hakan Inan; Khashayar Khosravi; Richard Socher

الملخص

الشبكات العصبية التكرارية حققت نجاحًا كبيرًا في توقع سلاسل الكلمات في مهام مثل نمذجة اللغة. ومع ذلك، فإن جميع هذه النماذج تعتمد على الإطار التقليدي للتصنيف، حيث يتم تدريب النموذج على أهداف "واحد-ساخن" (one-hot targets)، وتمثل كل كلمة كمدخل وكخرج بشكل منفصل. هذا يؤدي إلى عدم كفاءة في التعلم من حيث استخدام جميع المعلومات ومن حيث عدد المعلمات اللازمة للتدريب. نقدم إطارًا نظريًا جديدًا يسهل التعلم الأفضل في نمذجة اللغة، ونوضح أن إطاراتنا تقود إلى ربط مصفوفات التضمين المدخلية ومصفوفات الإسقاط الخرجية معًا، مما يقلل بشكل كبير من عدد المتغيرات القابلة للتدريب. يؤدي إطارنا إلى تحقيق أداء يتفوق على أفضل ما هو موجود حاليًا في بنك شجرة بنسلفانيا (Penn Treebank) باستخدام مجموعة متنوعة من نماذج الشبكة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
ربط متجهات الكلمات وتصنيفات الكلمات: إطار الخسارة للنمذجة اللغوية | مستندات | HyperAI