نقدم نوعًا جديدًا من تمثيلات الكلمات السياقية العميقة التي تُمثِّل (1) الخصائص المعقدة لاستخدام الكلمات (مثل النحو والدلالات)، و(2) كيف تتغير هذه الاستخدامات عبر السياقات اللغوية المختلفة (أي، لتمثيل التعدد الدلالي). يتم تعلم متجهات الكلمات الخاصة بنا كدوال للحالات الداخلية لنموذج لغوي عكسي عميق (biLM) يتم تدريبه مسبقًا على مكتبة نصوص كبيرة. نوضح أن هذه التمثيلات يمكن إضافتها بسهولة إلى النماذج الحالية وأنها تحسّن بشكل كبير الحالة الراهنة في ستة مشاكل صعبة في معالجة اللغة الطبيعية، بما في ذلك الإجابة على الأسئلة، الاستنباط النصي، وتحليل المشاعر. كما نقدم تحليلًا يظهر أن الكشف عن الأجزاء الداخلية العميقة للشبكة المدربة مسبقًا أمر حاسم، مما يسمح للنماذج اللاحقة بمزج أنواع مختلفة من إشارات شبه الرقابة.