لقد استفادت رؤية الحاسوب من تهيئة طبقات عميقة متعددة بأوزان تم تدريبها مسبقًا على مجموعات تدريب كبيرة تحت إشراف مثل ImageNet. أما معالجة اللغة الطبيعية (NLP) فغالبًا ما ترى تهيئة الطبقة الأدنى فقط من النماذج العميقة بأشعة كلمة مسبقة التدريب. في هذا البحث، نستخدم مُشفِّر LSTM العميق من نموذج تحويل التسلسلات مع التركيز المُتدرب للترجمة الآلية (MT) لوضع سياق للأشرعة الكلمات. نوضح أن إضافة هذه الأشرعة السياقية (CoVe) يحسن الأداء عند استخدام أشعة الكلمات والأحرف غير المُشرف عليها فقط في مجموعة واسعة من المهام الشائعة في معالجة اللغة الطبيعية: تحليل المشاعر (SST، IMDb)، تصنيف الأسئلة (TREC)، الاستدلال (SNLI)، وإجابة الأسئلة (SQuAD). بالنسبة لتحليل المشاعر الدقيق والاستدلال، فإن CoVe يحسن أداء نماذجنا الأساسية إلى مستوى الرائدة في المجال.