HyperAIHyperAI

Command Palette

Search for a command to run...

كل متجهات الكلمات من متجه واحد

Sho Takase; Sosuke Kobayashi

الملخص

في النماذج القائمة على الشبكات العصبية لمعالجة اللغة الطبيعية (NLP)، غالباً ما تكون أكبر جزء من المعلمات تتكون من تمثيلات الكلمات. تجهّز النماذج التقليدية مصفوفة تمثيل كبيرة حجمها يعتمد على حجم المفردات. ولذلك، فإن تخزين هذه النماذج في الذاكرة والتخزين الداخلي باهظ الثمن. في هذا البحث، بهدف تقليل العدد الإجمالي للمعلمات، يتم تمثيل التمثيلات لكل الكلمات عن طريق تحويل تمثيل مشترك. الطريقة المقترحة، ALONE (تمثيلات الكلمات جميعها من واحد)، تقوم ببناء تمثيل كلمة عن طريق تعديل التمثيل المشترك باستخدام متجه مرشح، وهو خاص بكلمة معينة ولكنه غير قابل للتدريب. بشكل ساذج، تحتل متجهات المرشح نفس حجم الذاكرة مثل مصفوفة التمثيل التقليدية، والتي تعتمد على حجم المفردات. لحل هذه المشكلة، نقدم أيضاً طريقة فعالة من حيث الذاكرة لبناء المرشح. نشير إلى أن ALONE يمكن استخدامها كتمثيل لكلمة بشكل كافٍ من خلال تجربة إعادة بناء التمثيلات المسبقة التدريب للكلمات. بالإضافة إلى ذلك، أجرينا تجارب على مهام تطبيقات معالجة اللغة الطبيعية: الترجمة الآلية وإيجاز النصوص. قمنا بدمج ALONE مع نموذج الكودر-الفاكودر الأكثر تقدماً حالياً، وهو نموذج Transformer، وحققنا درجات مقارنة على مهمة الترجمة الإنجليزية-الألمانية في WMT 2014 ومهمة إيجاز النصوص القصيرة جداً في DUC 2004 مع عدد أقل من المعلمات.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
كل متجهات الكلمات من متجه واحد | مستندات | HyperAI