Bien que les plongements contextuels générés par des modèles pré-entraînés à grande échelle se comportent bien dans de nombreuses tâches, les plongements statiques traditionnels (par exemple, Skip-gram, Word2Vec) continuent de jouer un rôle important dans les configurations à faibles ressources et légères en raison de leur faible coût computationnel, de leur facilité de déploiement et de leur stabilité. Dans cet article, nous visons à améliorer les plongements de mots par 1) l'incorporation d'informations contextuelles supplémentaires provenant des modèles pré-entraînés existants dans le cadre de Skip-gram, que nous appelons Context-to-Vec ; 2) la proposition d'une méthode de rétrofit post-traitement pour les plongements statiques indépendamment de l'entraînement en utilisant une connaissance a priori des synonymes et une distribution vectorielle pondérée. Nos méthodes ont été largement prouvées supérieures aux lignes de base à travers des tâches extrinsèques et intrinsèques.