HyperAIHyperAI

Command Palette

Search for a command to run...

إعادة النظر في التحكم: شبكات RNN المتعددة الطبقات العميقة التي يمكن تدريبها

Mehmet Ozgur Turkoglu Stefano D’Aronco Jan Dirk Wegner Konrad Schindler

الملخص

نقترح خلية متكررة قابلة للتوسيط (STAR) جديدة للشبكات العصبية المتكررة (RNNs)، والتي تحتوي على عدد أقل من المعلمات مقارنة بالخلايا المستخدمة على نطاق واسع مثل LSTM وGRU، مع كونها أكثر مقاومة لانحسار أو تضخم التدرجات. يعاني توسيط الوحدات المتكررة في هياكل عميقة من حددين رئيسيين: (i) العديد من الخلايا المتكررة (مثل LSTM) تكون باهظة الثمن من حيث المعلمات والموارد الحسابية؛ و(ii) الشبكات العصبية المتكررة العميقة معرضة بشكل كبير لانحسار أو تضخم التدرجات أثناء التدريب. ندرس تدريب الشبكات العصبية المتكررة متعددة الطبقات ونفحص حجم التدرجات أثناء انتشارها عبر الشبكة في الاتجاه "العمودي". نوضح أن، اعتمادًا على هيكل الخلية المتكررة الأساسية، يتم تقليل أو زيادة التدرجات بشكل نظامي. بناءً على تحليلنا، صممنا نوعًا جديدًا من الخلايا ذات الأبواب التي تحافظ بشكل أفضل على حجم التدرج. نؤكد تصميمنا على عدد كبير من مهام نمذجة السلاسل الزمنية ونثبت أن الخلية المقترحة STAR تسمح ببناء وتدريب هياكل متكررة أعمق، مما يؤدي في النهاية إلى تحسن الأداء مع كونها أكثر كفاءة من الناحية الحسابية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp