الخليط السريع والبسيط لـ Softmax مع BPE و Hybrid-LightRNN للإنبات اللغوي

تم إثبات أن مزيج softmaxes (MoS) فعال في معالجة قيود التعبير في نماذج softmax. ومع ذلك، فإن MoS عمليًا محصور بسبب استهلاكه الكبير للذاكرة والوقت الحاسوبي نتيجة الحاجة إلى حساب العديد من softmaxes. في هذا البحث، نسعى إلى تحرير قوة MoS في التطبيقات العملية من خلال دراسة مخططات ترميز الكلمات المحسنة، والتي يمكن أن تقلل بشكل فعال من حجم المفردات وبالتالي تخفف من عبء الذاكرة والحاسوب. نوضح أن كلًا من BPE وHybrid-LightRNN المقترح لدينا يؤديان إلى آليات ترميز محسنة يمكنها تقليص وقت وذاكرة MoS بمقدار النصف دون خسارة الأداء. باستخدام MoS، حققنا تحسنًا بمقدار 1.5 نقطة BLEU على مجموعة بيانات IWSLT 2014 الألمانية-الإنجليزية، وتحسنًا بمقدار 0.76 نقطة CIDEr في تعليق الصور. بالإضافة إلى ذلك، على مجموعة البيانات الأكبر WMT 2014 لترجمة الآلة، يحقق Transformer المعزز بـ MoS 29.5 نقطة BLEU للترجمة من الإنجليزية إلى الألمانية و42.1 نقطة BLEU للترجمة من الإنجليزية إلى الفرنسية، مما يتفوق على Transformer ذو softmax الواحد بمقدار 0.8 و0.4 نقاط BLEU على التوالي ويحقق أفضل النتائج حتى الآن في مهمة WMT 2014 للترجمة من الإنجليزية إلى الألمانية.