حول أحدث ما وصلت إليه تقنيات التقييم في نماذج اللغة العصبية

الابتكارات المستمرة في هياكل الشبكات العصبية المتكررة قد قدمت تدفقًا مستقرًا من النتائج الظاهرية المتميزة في معايير نماذج اللغة. ومع ذلك، تم تقييم هذه النتائج باستخدام بases رمزية مختلفة وموارد حاسوبية محدودة، مما يمثل مصادر غير مضبوطة للاختلافات التجريبية. أعدنا تقييم العديد من الهياكل والطرق التنظيمية الشائعة باستخدام ضبط معلمات فائق أسود الصندوق على نطاق واسع وتلقائي، وتوصلنا إلى الاستنتاج المفاجئ نسبيًا بأن هياكل LSTM القياسية، عند تنظيمها بشكل صحيح، تتفوق على النماذج الأحدث. لقد أنشأنا مستوى جديدًا من التميز في مجموعة بيانات Penn Treebank وWiktext-2، بالإضافة إلى خطوط أساس قوية في مجموعة بيانات جائزة Hutter.注释：- "code bases" 被翻译为 "bases رمزية"，其中 "رمزية" 是 "code" 的阿拉伯语翻译，而 "bases" 保留了原英文形式，因为这是一个在科技领域中较为常见的术语组合。- 其他术语如“LSTM”、“Penn Treebank”、“Wikitext-2”和“Hutter Prize”均直接使用其英文名称，以保持专业性和一致性。