التقييم الديناميكي لنموذج التسلسل العصبي

نقدم منهجية لاستخدام التقييم الديناميكي لتحسين نماذج التسلسل العصبية. يتم تكيف هذه النماذج مع التاريخ الحديث من خلال آلية تعتمد على الانحدار التدرجي، مما يسبب لها تعيين احتمالات أعلى للأنماط التسلسلية المتكررة. أثبت التقييم الديناميكي فعاليته في مقارناتنا أكثر من الأساليب الحالية للتكيف. يحسن التقييم الديناميكي أفضل النتائج المحققة في مستوى الكلمات من حيث حيرة الكلمات (perplexity) على مجموعتي بيانات Penn Treebank و WikiText-2 إلى 51.1 و 44.3 على التوالي، ويحسن أفضل النتائج المحققة في مستوى الأحرف من حيث الإنتروبيا المتقاطعة (cross-entropy) على مجموعتي بيانات text8 و Hutter Prize إلى 1.19 بت/حرف و 1.08 بت/حرف على التوالي.