Command Palette
Search for a command to run...
كل متجهات الكلمات من متجه واحد
كل متجهات الكلمات من متجه واحد
Sho Takase; Sosuke Kobayashi
الملخص
في النماذج القائمة على الشبكات العصبية لمعالجة اللغة الطبيعية (NLP)، غالباً ما تكون أكبر جزء من المعلمات تتكون من تمثيلات الكلمات. تجهّز النماذج التقليدية مصفوفة تمثيل كبيرة حجمها يعتمد على حجم المفردات. ولذلك، فإن تخزين هذه النماذج في الذاكرة والتخزين الداخلي باهظ الثمن. في هذا البحث، بهدف تقليل العدد الإجمالي للمعلمات، يتم تمثيل التمثيلات لكل الكلمات عن طريق تحويل تمثيل مشترك. الطريقة المقترحة، ALONE (تمثيلات الكلمات جميعها من واحد)، تقوم ببناء تمثيل كلمة عن طريق تعديل التمثيل المشترك باستخدام متجه مرشح، وهو خاص بكلمة معينة ولكنه غير قابل للتدريب. بشكل ساذج، تحتل متجهات المرشح نفس حجم الذاكرة مثل مصفوفة التمثيل التقليدية، والتي تعتمد على حجم المفردات. لحل هذه المشكلة، نقدم أيضاً طريقة فعالة من حيث الذاكرة لبناء المرشح. نشير إلى أن ALONE يمكن استخدامها كتمثيل لكلمة بشكل كافٍ من خلال تجربة إعادة بناء التمثيلات المسبقة التدريب للكلمات. بالإضافة إلى ذلك، أجرينا تجارب على مهام تطبيقات معالجة اللغة الطبيعية: الترجمة الآلية وإيجاز النصوص. قمنا بدمج ALONE مع نموذج الكودر-الفاكودر الأكثر تقدماً حالياً، وهو نموذج Transformer، وحققنا درجات مقارنة على مهمة الترجمة الإنجليزية-الألمانية في WMT 2014 ومهمة إيجاز النصوص القصيرة جداً في DUC 2004 مع عدد أقل من المعلمات.