نقدم نموذجًا جديدًا لتمثيل اللغة معززًا بالمعرفة يُسمى ERNIE (تمثيل مُعزز من خلال دمج المعرفة). مستوحى من استراتيجية التغطية في BERT، تم تصميم ERNIE لتعلم تمثيلات اللغة المعززة باستراتيجيات تغطية المعرفة، والتي تشمل التغطية على مستوى الكيان والتغطية على مستوى العبارة. استراتيجية الكيان تقوم بتغطية الكيانات التي غالبًا ما تتكون من عدة كلمات. أما استراتيجية العبارة فتقوم بتغطية العبارة بأكملها التي تتكون من عدة كلمات تعمل معًا كوحدة مفهومية. أظهرت النتائج التجريبية أن ERNIE يتفوق على الطرق الأساسية الأخرى، حيث حقق أفضل النتائج الحالية في خمس مهام معالجة اللغة الطبيعية الصينية تشمل الاستدلال اللغوي، التشابه الدلالي، تحديد الكيانات الأسماء، تحليل المشاعر ورد الإجابة على الأسئلة. كما أظهرنا أن ERNIE يتمتع بقدرة استدلال معرفة أكبر في اختبار الملء (cloze test).