في الآونة الأخيرة، أظهرت نماذج اللغة القائمة على تحويلات (Transformer) المُدرَّبة مسبقًا، مثل BERT وGPT، تحسنًا كبيرًا في العديد من مهام معالجة اللغة الطبيعية (NLP). ومع ذلك، تحتوي هذه النماذج على عدد كبير جدًا من المعاملات (البارامترات). وتشير ظهور نماذج أكبر وأكثر دقة، مثل GPT2 وMegatron، إلى اتجاه متجه نحو النماذج الكبيرة المُدرَّبة مسبقًا القائمة على تحويلات (Transformer). ولكن استخدام هذه النماذج الكبيرة في البيئات الإنتاجية يُعد مهمة معقدة تتطلب كميات هائلة من الموارد الحاسوبية والذاكرة واستهلاك الطاقة. في هذا العمل، نُظهر كيفية إجراء تدريب واعٍ بالكمّية (Quantization-Aware Training) أثناء مرحلة التخصيص (fine-tuning) لنموذج BERT، بهدف تقليل حجم نموذج BERT بنسبة 4 أضعاف مع فقدان ضئيل في الدقة. علاوةً على ذلك، يمكن لنموذج التكميم الناتج تسريع زمن الاستدلال (inference) إذا تم تحسينه ليعمل على هاردوير يدعم العمليات بـ 8 بت صحيحة (8-bit Integer).