HyperAIHyperAI

Command Palette

Search for a command to run...

الشبكات العصبية المتكررة السريعة البطيئة

Asier Mujika Florian Meier Angelika Steger

الملخص

معالجة البيانات التسلسلية ذات الطول المتغير هي تحدي رئيسي في مجموعة واسعة من التطبيقات، مثل التعرف على الكلام، نمذجة اللغة، نمذجة الصور التوليدية والترجمة الآلية. في هذا البحث، نواجه هذا التحدي من خلال اقتراح معمارية جديدة للشبكات العصبية المتكررة (RNN)، وهي الشبكة العصبية السريعة-البطيئة (FS-RNN). تدمج الشبكة FS-RNN قدرات الشبكات العصبية المتكررة متعددة المقياس والشبكات العصبية المتكررة ذات الانتقال العميق حيث تعالج البيانات التسلسلية على مقياس زمني مختلف وتتعلم الدوال الانتقالية المعقدة من خطوة زمنية إلى أخرى. قمنا بتقييم الشبكة FS-RNN على مجموعتين من بيانات نمذجة اللغة على مستوى الحروف، وهما Penn Treebank و Hutter Prize Wikipedia، حيث تحسنا النتائج الرائدة لتصل إلى 1.191.191.19 و 1.251.251.25 بت لكل حرف (BPC) على التوالي. بالإضافة إلى ذلك، حقق مجمعان من شبكتين FS-RNN قيمة 1.201.201.20 بتس لكل حرف (BPC) على بيانات Hutter Prize Wikipedia، مما يتفوق على أفضل خوارزمية ضغط معروفة بحسب مقاييس BPC. كما نقدم دراسة تجريبية لديناميكيات التعلم والشبكة في الشبكة FS-RNN، والتي تفسر الأداء المحسن مقارنة بالمعماريات الأخرى للشبكات العصبية المتكررة. نهجنا عام حيث يمكن لأي نوع من خلايا RNN أن يكون كتلة بنائية محتملة للمعمارية FS-RNN، وبالتالي يمكن تطبيقه بشكل مرناً على مهام مختلفة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
الشبكات العصبية المتكررة السريعة البطيئة | مستندات | HyperAI