شبكة انتباه تلافيفية فعالة للتصنيف متعدد العلامات للوثائق السريرية

يمكن أن تكون مشكلات التصنيف الوثائقي متعدد العلامات (MLDC) صعبة، خاصة بالنسبة للوثائق الطويلة التي تضم مجموعة كبيرة من العلامات وتوزيعًا من النوع "ذيل طويل" على العلامات. في هذه الورقة، نقدّم شبكة انتباه تلافيفية فعّالة لمشكلة التصنيف الوثائقي متعدد العلامات، مع التركيز على توقع الرموز الطبية من الوثائق السريرية. تكمن ابتكاراتنا في ثلاث جوانب: (1) نستخدم مشغلًا عميقًا قائمًا على التلافيف مع شبكات الضغط والإثارة (squeeze-and-excitation networks) والشبكات المتبقية (residual networks) لجمع المعلومات عبر الوثيقة وتعلم تمثيلات وثيقة ذات معنى تغطي نطاقات مختلفة من النصوص؛ (2) نستكشف انتباه متعدد الطبقات وطريقة تجميع التجميع (sum-pooling) لاستخراج الميزات الأكثر إفادة من هذه التمثيلات متعددة المقياس؛ (3) ندمج خسارة الانتروبيا الثنائية (binary cross entropy loss) وLoss البؤري (focal loss) لتحسين الأداء بالنسبة للعلامات النادرة. نركز دراستنا التقييمية على مجموعة بيانات MIMIC-III، وهي مجموعة بيانات شائعة الاستخدام في المجال الطبي. تتفوّق نماذجنا على الدراسات السابقة في توقع الرموز الطبية، وتحقيق نتائج جديدة قياسية على عدة مقاييس. كما نُظهر الطبيعة المستقلة عن اللغة لنهجنا من خلال تطبيقه على مجموعتي بيانات غير إنجليزية. وتفوّز نموذجنا بشكل كبير على أفضل نموذج سابق، وعلى نموذج المُحول متعدد اللغات (multilingual Transformer).