المعلومات الحدودية ضرورية لمجموعة متنوعة من مهام معالجة اللغة الصينية، مثل تقسيم الكلمات، وتصنيف الأجزاء النحوية، وتعرف الكيانات المسماة. غالبًا ما لجأت الدراسات السابقة إلى استخدام قاموس خارجي عالي الجودة، حيث يمكن أن توفر عناصر القاموس معلومات حدودية صريحة. ومع ذلك، للحفاظ على جودة القاموس، يتعين بذل جهد بشري كبير، وهو أمر غالباً ما يتم تجاهله. في هذا العمل، نقترح استخدام المعلومات الحدودية الإحصائية غير المراقبة بدلاً من ذلك، ونقدم هيكلًا لدمج هذه المعلومات مباشرة في نماذج اللغة المدربة مسبقًا، مما يؤدي إلى إنشاء BERT الواعي بالحدود (BABERT). نطبق BABERT في استخراج الخصائص لمهام تصنيف التسلسل الصيني. أظهرت النتائج التجريبية على عشر مقاييس لتصنيف التسلسل الصيني أن BABERT يمكنه توفير تحسينات مستمرة على جميع المجموعات البيانات. بالإضافة إلى ذلك، يمكن لطريقتنا أن تكون مكملة للاستكشاف السابق للقاموس المراقب، حيث يمكن تحقيق تحسينات إضافية عند دمجها بمعلومات القاموس الخارجي.