رغم أن الترميزات السياقية المولدة من النماذج المدربة مسبقًا على نطاق واسع تؤدي بشكل جيد في العديد من المهام، فإن الترميزات الثابتة التقليدية (مثل Skip-gram، Word2Vec) لا تزال تلعب دورًا مهمًا في البيئات ذات الموارد المنخفضة والخفيفة الوزن بسبب انخفاض تكلفة الحسابات، سهولة التنفيذ والاستقرار. في هذا البحث، نهدف إلى تحسين الترميزات الكلامية من خلال: 1) دمج المزيد من المعلومات السياقية من النماذج المدربة مسبقًا القائمة في إطار Skip-gram، والذي نسميه Context-to-Vec (سياق إلى متجه)؛ 2) اقتراح طريقة معالجة ما بعد التدريب للترميزات الثابتة مستقلة عن التدريب باستخدام معرفة سابقة بالمرادفات وتوزيع المتجهات المرتبط بالأوزان. لقد أثبتت طرقنا فعاليتها بشكل كبير في المهام الخارجية والداخلية، حيث حققت نتائج أفضل بكثير من النماذج الأساسية.