تقييم ديناميكي لنموذج اللغات القائمة على المحول

تجمع هذه المذكرة البحثية بين طريقتين حديثتين أحدثتا تحسينات كبيرة في مجال نماذج اللغة: النماذج التحويلية (Transformers) والتقييم الديناميكي. تعتمد النماذج التحويلية على طبقات متراكمة من الانتباه الذاتي التي تمكنها من التقاط الارتباطات البعيدة في البيانات المتسلسلة. أما التقييم الديناميكي فيقوم بتناسب النماذج مع التاريخ الحديث للبيانات المتسلسلة، مما يسمح لها بتعيين احتمالات أعلى للأنماط المتكررة. من خلال تطبيق التقييم الديناميكي على نماذج Transformer-XL، تمكنا من تحسين الحالة الفنية لـ enwik8 من 0.99 إلى 0.94 بت/حرف، وtext8 من 1.08 إلى 1.04 بت/حرف، وWikiText-103 من 18.3 إلى 16.4 نقطة حيرة (perplexity points).