تمثيلات المدخلات التكيفية لنموذج اللغة العصبي

نقدم تمثيلات مدخلية متكيفة للنمذجة اللغوية العصبية والتي توسع من استخدام softmax المتكيف لـ Grave وآخرون (2017) لتغطية تمثيلات المدخلات بسعة متغيرة. هناك عدة خيارات حول كيفية تحليل المدخلات والمخرجات، وما إذا كان سيتم نمذجة الكلمات أو الحروف أو الوحدات الفرعية للكلمات. نقوم بمقارنة منهجية للخيارات الشائعة في بنية ذات الانتباه الذاتي. تظهر تجاربنا أن النماذج المجهزة بتمثيلات متكيفة أسرع بمقدار أكثر من ضعفين في التدريب مقارنة بالشبكة العصبية التلافيفية الشهيرة للمدخلات الحرفية، مع وجود عدد أقل من المعالم. على مقاييس WikiText-103، حققنا 18.7 من حيرة الألفاظ (perplexity)، وهو تحسن بمقدار 10.5 من حيرة الألفاظ مقارنة بأفضل نتيجة معلَن عنها سابقًا، وعلى مقاييس مليار كلمة، حققنا 23.02 من حيرة الألفاظ (perplexity).