BioM-Transformers: إنشاء نماذج لغوية حيوية كبيرة باستخدام BERT و ALBERT و ELECTRA

أصبح تأثير الخيارات التصميمية على أداء نماذج اللغة الطبية الحيوية موضوعًا للبحث مؤخرًا. في هذه الورقة، نقوم بدراسة تجريبية لتكيف المجال الطبي الحيوية باستخدام نماذج المحولات الكبيرة مع خيارات تصميم مختلفة. ونقيّم أداء نماذجنا المُدرَّبة مسبقًا مقارنة بنماذج اللغة الطبية الحيوية الأخرى المُوجودة في الأدبيات. تُظهر نتائجنا أننا حققنا نتائج من الدرجة الأولى (state-of-the-art) في عدة مهام مجالية طبية حيوية، رغم استخدامنا لتكلفة حسابية مشابهة أو أقل مقارنةً بالنماذج الأخرى في الأدبيات. تُبرز نتائجنا التأثير الكبير الذي يمكن أن تحدثه الخيارات التصميمية في تحسين أداء نماذج اللغة الطبية الحيوية.