لقد حققت نماذج اللغة المُدرَّبة مسبقًا أداءً واعدًا على المعايير العامة، لكنها تُظهر أداءً أقل عند نقلها إلى مجالات محددة. تُركّز الأعمال الحديثة على إعادة التدريب المسبق من الصفر أو التدريب المستمر على مجموعات بيانات مجالية. ومع ذلك، في العديد من المجالات المحددة، تكون مجموعات البيانات المتوفرة محدودة للغاية، ما يجعل من الصعب الحصول على تمثيلات دقيقة. ولحل هذه المشكلة، نقترح نموذجًا جديدًا لغويًا يعتمد على معمارية Transformer يُسمى VarMAE، مُصمم لفهم اللغة المُتكيف مع المجال. وباستخدام دالة الترميز المُخفي (masked autoencoding)، نصمم وحدة لتعلم عدم اليقين في السياق، والتي تقوم بتمثيل سياق الرموز (tokens) في توزيع خفي سلس. وتُمكن هذه الوحدة من إنتاج تمثيلات سياقية متنوعة ومنظمة جيدًا. وأظهرت التجارب على مهام فهم اللغة في مجالات العلوم والمال أن VarMAE يمكن تكييفه بكفاءة في مجالات جديدة، حتى مع موارد محدودة.