Command Palette
Search for a command to run...
BioM-Transformers: إنشاء نماذج لغوية حيوية كبيرة باستخدام BERT و ALBERT و ELECTRA
BioM-Transformers: إنشاء نماذج لغوية حيوية كبيرة باستخدام BERT و ALBERT و ELECTRA
Vijay Shanker Sultan Alrowili
الملخص
أصبح تأثير الخيارات التصميمية على أداء نماذج اللغة الطبية الحيوية موضوعًا للبحث مؤخرًا. في هذه الورقة، نقوم بدراسة تجريبية لتكيف المجال الطبي الحيوية باستخدام نماذج المحولات الكبيرة مع خيارات تصميم مختلفة. ونقيّم أداء نماذجنا المُدرَّبة مسبقًا مقارنة بنماذج اللغة الطبية الحيوية الأخرى المُوجودة في الأدبيات. تُظهر نتائجنا أننا حققنا نتائج من الدرجة الأولى (state-of-the-art) في عدة مهام مجالية طبية حيوية، رغم استخدامنا لتكلفة حسابية مشابهة أو أقل مقارنةً بالنماذج الأخرى في الأدبيات. تُبرز نتائجنا التأثير الكبير الذي يمكن أن تحدثه الخيارات التصميمية في تحسين أداء نماذج اللغة الطبية الحيوية.