كسر عقبة سوفت맥س: نموذج لغوي RNN ذي رتبة عالية

نقوم بصياغة نمذجة اللغة كمشكلة تحليل عوامل المصفوفة، ونوضح أن قدرة التعبير للنماذج المستندة إلى Softmax (بما في ذلك معظم النماذج العصبية للغة) محدودة بخنق Softmax. بالنظر إلى أن اللغة الطبيعية تعتمد بشكل كبير على السياق، فإن هذا يعني أيضًا أن Softmax مع تمثيلات الكلمات الموزعة ليس لديها القدرة الكافية لنمذجة اللغة الطبيعية في الممارسة العملية. نقترح طريقة بسيطة وفعالة لمعالجة هذه المشكلة، وتحسين أفضل النتائج السابقة في حيرة الذهن على مجموعتي بيانات Penn Treebank وWikiText-2 إلى 47.69 و40.68 على التوالي. كما أظهرت الطريقة المقترحة تفوقًا على مجموعة البيانات الكبيرة 1B Word، حيث تفوقت على النموذج الأساسي بأكثر من 5.6 نقطة في حيرة الذهن.