أظهرت نماذج اللغة المُدرَّبة مسبقًا على مجموعات بيانات طبية، مثل BioBERT، نتائج واعدة مؤخرًا في المهام الطبية التطبيقية. ومع ذلك، فإن العديد من النماذج المُدرَّبة مسبقًا حاليًا تتطلب موارد كبيرة وتعمل بحمولة حسابية عالية بسبب عوامل مثل حجم التضمين (embedding size)، بعد البُعد الخفي (hidden dimension)، وعدد الطبقات. وقد طوّر مجتمع معالجة اللغة الطبيعية (NLP) العديد من الاستراتيجيات لضغط هذه النماذج باستخدام تقنيات مثل الحذف (pruning)، التقطيع الكمي (quantisation)، ونقل المعرفة (knowledge distillation)، مما أدى إلى ظهور نماذج أسرع بكثير وأصغر حجمًا، وبالتالي أصبح استخدامها عمليًا أكثر سهولة. وبالمثل، في هذه الورقة، نقدّم ستة نماذج خفيفة الوزن، هي: BioDistilBERT، BioTinyBERT، BioMobileBERT، DistilBioBERT، TinyBioBERT، وCompactBioBERT، والتي تم الحصول عليها إما عبر نقل المعرفة من نموذج معلم طبي، أو عبر التعلّم المستمر على مجموعة بيانات Pubmed باستخدام هدف النمذجة المُقنّعة للغة (Masked Language Modelling - MLM). ونقيّم جميع نماذجنا على ثلاث مهام طبية، ونقارنها مع BioBERT-v1.1 لإنشاء نماذج خفيفة الوزن فعّالة تُنافس نماذجها الأكبر من حيث الأداء. وسيكون جميع النماذج متاحًا للجمهور على ملفنا على Huggingface عبر الرابط: https://huggingface.co/nlpie، كما ستكون الشيفرات المستخدمة لتشغيل التجارب متاحة على GitHub عبر الرابط: https://github.com/nlpie-research/Compact-Biomedical-Transformers.