استراتيجيات التضمين للقطاعات المتخصصة: التطبيق على التعرف على الكيانات السريرية

أصبح استخدام تضمينات الكلمات المُدرّبة مسبقًا بالاقتران مع نماذج التعلم العميق هو النهج "الواقعي" في معالجة اللغة الطبيعية (NLP). وعلى الرغم من أن هذا النهج يُحقق عادةً نتائج مرضية، إلا أن تضمينات الكلمات الجاهزة تُظهر أداءً ضعيفًا غالبًا في النصوص المتعلقة بمجالات متخصصة مثل التقارير السريرية. علاوةً على ذلك، يُعد تدريب تمثيلات كلمات متخصصة من الصفر غالبًا مستحيلًا أو غير فعّال بسبب نقص البيانات الكافية ضمن المجال المستهدف. في هذا العمل، نركّز على المجال السريري، حيث ندرس استراتيجيات تضمين تعتمد فقط على موارد من المجال العام. ونُظهر أنه من خلال دمج تضمينات السياق الجاهزة (ELMo) مع تضمينات word2vec الثابتة التي تم تدريبها على مجموعة بيانات صغيرة داخل المجال، تم بناؤها من بيانات المهمة نفسها، نتمكن من تحقيق تمثيلات تُنافس أحيانًا أو تتفوق على التمثيلات التي تم تعلّمها من مجموعة بيانات كبيرة في المجال الطبي.