تطبيق نظري لتقنيات الإسقاط في شبكات العصبيات التكرارية

تعد الشبكات العصبية المتكررة (RNNs) في مقدمة العديد من التطورات الحديثة في التعلم العميق. ومع ذلك، فإن أحد الصعوبات الرئيسية مع هذه النماذج هو ميلها إلى الانطباق الزائد (overfitting)، حيث أثبتت تقنية الإفلات (dropout) فشلها عند تطبيقها على الطبقات المتكررة. تقدم النتائج الحديثة في تقاطع نمذجة بيزية والتعلم العميق تفسيرًا بيزيًا لتقنيات التعلم العميق الشائعة مثل الإفلات. يشير هذا الأساس للإفلات في الاستدلال البيزي التقريبي إلى توسيع للنتائج النظرية، مما يوفر رؤى حول استخدام الإفلات مع نماذج الشبكات العصبية المتكررة. قمنا بتطبيق هذه التقنية الجديدة المستندة إلى الاستدلال المتغير في نماذج LSTM وGRU، وتقييمها في مهام نمذجة اللغة وتحليل المشاعر. أظهرت هذه الطريقة الجديدة تفوقًا على التقنيات الموجودة، وفي أفضل علم لنا، حققت تحسينًا على الحالة المثلى لأفضل نموذج واحد في نمذجة اللغة باستخدام بنك الأشجار بين (73.4 اختبار الالتباس). هذا يوسع أدواتنا المتغيرة في التعلم العميق.请注意，这里的“Penn Treebank”是一个特定的数据集名称，通常在阿拉伯语中直接保留英文名称。另外，“73.4 test perplexity”中的“perplexity”是指语言模型的一个评估指标，通常翻译为“الالتباس”。