HyperAIHyperAI

Command Palette

Search for a command to run...

تطبيق نظري لتقنيات الإسقاط في شبكات العصبيات التكرارية

Yarin Gal Zoubin Ghahramani

الملخص

تعد الشبكات العصبية المتكررة (RNNs) في مقدمة العديد من التطورات الحديثة في التعلم العميق. ومع ذلك، فإن أحد الصعوبات الرئيسية مع هذه النماذج هو ميلها إلى الانطباق الزائد (overfitting)، حيث أثبتت تقنية الإفلات (dropout) فشلها عند تطبيقها على الطبقات المتكررة. تقدم النتائج الحديثة في تقاطع نمذجة بيزية والتعلم العميق تفسيرًا بيزيًا لتقنيات التعلم العميق الشائعة مثل الإفلات. يشير هذا الأساس للإفلات في الاستدلال البيزي التقريبي إلى توسيع للنتائج النظرية، مما يوفر رؤى حول استخدام الإفلات مع نماذج الشبكات العصبية المتكررة. قمنا بتطبيق هذه التقنية الجديدة المستندة إلى الاستدلال المتغير في نماذج LSTM وGRU، وتقييمها في مهام نمذجة اللغة وتحليل المشاعر. أظهرت هذه الطريقة الجديدة تفوقًا على التقنيات الموجودة، وفي أفضل علم لنا، حققت تحسينًا على الحالة المثلى لأفضل نموذج واحد في نمذجة اللغة باستخدام بنك الأشجار بين (73.4 اختبار الالتباس). هذا يوسع أدواتنا المتغيرة في التعلم العميق.请注意,这里的“Penn Treebank”是一个特定的数据集名称,通常在阿拉伯语中直接保留英文名称。另外,“73.4 test perplexity”中的“perplexity”是指语言模型的一个评估指标,通常翻译为“الالتباس”。


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تطبيق نظري لتقنيات الإسقاط في شبكات العصبيات التكرارية | مستندات | HyperAI