HyperAIHyperAI
منذ 2 أشهر

الشبكات العصبية الطويلة القصيرة الأجل المتراكبة المعتمدة على الخلايا لنمذجة الجمل

Jihun Choi; Taeuk Kim; Sang-goo Lee
الشبكات العصبية الطويلة القصيرة الأجل المتراكبة المعتمدة على الخلايا لنمذجة الجمل
الملخص

نقترح طريقة لتوسيع طبقات الذاكرة قصيرة المدى طويلة (LSTM) المتعددة لنمذجة الجمل. على عكس الطبقات LSTM المكدسة التقليدية حيث يتم تغذية الحالة الخفية فقط كمدخل للطبقة التالية، فإن الهيكل المقترح يقبل كلًا من الحالات الخفية وخلايا الذاكرة للطبقة السابقة ويقوم بدمج المعلومات من السياق الأيسر والسفلية باستخدام آلية التحكم الناعمة في LSTM. وبالتالي، فإن هذا الهيكل يضبط كمية المعلومات التي يتم نقلها ليس فقط في التكرار الأفقي ولكن أيضًا في الاتصالات العمودية، مما يؤدي إلى نقل الفeatures المفيدة المستخرجة من الطبقات السفلية بشكل فعال إلى الطبقات العلوية. نطلق على هذا الهيكل اسم LSTM المكدس الواعي بالخلايا (CAS-LSTM) ونظهر من خلال التجارب أن نماذجنا تحقق مكاسب أداء كبيرة مقارنة بالـ LSTMs القياسية على مجموعات بيانات مرجعية لمهمات الاستدلال اللغوي الطبيعي، وكشف الإعادة الصياغة، تصنيف المشاعر، والترجمة الآلية. كما نجري تحليلًا نوعيًا شاملًا لفهم السلوك الداخلي للنهج المقترح.

الشبكات العصبية الطويلة القصيرة الأجل المتراكبة المعتمدة على الخلايا لنمذجة الجمل | أحدث الأوراق البحثية | HyperAI