SciDeBERTa: تعلّم DeBERTa للوثائق التقنية العلمية وتحسين مهام استخراج المعلومات

تمكّنت نماذج اللغة القائمة على التعلم العميق (LMs) من تجاوز المعيار الذهبي (القاعدة البشرية) في معايير SQuAD 1.1 وGLUE في أبريل و يوليو 2019 على التوالي. وبحلول عام 2022، تفوقت الخمسة نماذج الرائدة في قائمة معيار SuperGLUE على المعيار الذهبي. حتى الأشخاص ذوي المعرفة العامة الجيدة يواجهون صعوبة في حل المشكلات في المجالات المتخصصة مثل الطب والذكاء الاصطناعي. تمامًا كما يكتسب البشر المعرفة المتخصصة من خلال دراسات البكالوريوس والماجستير والدكتوراه، فإن نماذج اللغة (LMs) تحتاج أيضًا إلى عملية لتطوير قدرتها على فهم المعرفة الخاصة بالقطاعات المحددة. ولهذا، تُقترح في هذه الدراسة نموذجان: SciDeBERTa و SciDeBERTa(CS) كنموذج مُدرّب مسبقًا (PLM) متخصص في مجال العلوم والتكنولوجيا. وتم إعادة تدريب نموذج DeBERTa، الذي تم تدريبه سابقًا على مجموعة نصية عامة، باستخدام مجموعة نصية متخصصة في مجال العلوم والتكنولوجيا. وقد أثبتت التجارب أن نموذج SciDeBERTa(CS)، الذي تم تدريبه مسبقًا بشكل مستمر في مجال علوم الحاسوب، حقق دقة أعلى بنسبة 3.53% و2.17% مقارنةً بنموذج SciBERT و S2ORC-SciBERT، وهما نموذجان متخصصان في مجال العلوم والتكنولوجيا، في مهمة التعرف على الأسماء المعرفية في مجموعة بيانات SciERC. كما أظهر نموذج SciDeBERTa(CS) تفوقًا بنسبة 6.7% في مهمة JRE ضمن مجموعة بيانات SciERC مقارنةً بالنموذج الأساسي SCIIE. وفي مجموعة بيانات Genia، حقق نموذج SciDeBERTa أفضل أداءً مقارنةً بنماذج S2ORC-SciBERT، SciBERT، BERT، DeBERTa، و SciDeBERTa(CS). علاوةً على ذلك، تم استكشاف تقنيات إعادة تهيئة (re-initialization) ومحسنات (optimizers) بديلة لـ Adam أثناء عملية التخصيص (fine-tuning) للتحقق من قدرة النماذج على فهم اللغة.