ConvTextTM: إطار عمل قابل للتفسير لآلة تسيتلين التلافيفية للتصنيف النصي

أحدث التطورات في معالجة اللغة الطبيعية (NLP) قد غيّرت صناعة الذكاء الاصطناعي، حيث حققت نماذج اللغة القوية مثل GPT-3 أداءً فائقًا على العديد من المهام. ومع ذلك، فإن التعقيد المتزايد لهذه النماذج يجعلها "صناديقًا سوداء"، مما يُولّد عدم يقين حول عملياتها الداخلية وآليات اتخاذ القرار. يعتمد جهاز تسيتلين (Tsetlin Machine - TM) على عبارات منطقية منطقية مكونة من تراكيب منطقية متصلة (conjunctive clauses) قابلة للتفسير البشري لحل مسائل التعرف على الأنماط المعقدة، وقد أظهر أداءً تنافسيًا في مختلف مهام معالجة اللغة الطبيعية. في هذه الورقة البحثية، نقترح معمارية TM جديدة تُسمى ConvTextTM، مبنية على التحويلات التلافيفية (convolutional) لتصنيف النصوص. في حين أن الحلول التقليدية لجهاز تسيتلين تتعامل مع النص كمجموعة من الكلمات محددة حسب المجموعة (SOW) الخاصة بالنص، فإن ConvTextTM تقوم بتقسيم النص إلى تسلسل من القطع النصية. ويتيح التحويل التلافيفي للقطع النصية تحليلًا يراعي الموضع المحلي. علاوة على ذلك، تُلغِي ConvTextTM الاعتماد على قاموس محدد حسب المجموعة، وبدلًا من ذلك تستخدم مجموعة من الكلمات عامة (SOW) تُشكّل وفقًا لآلية تجزئة نموذج التمثيلات الثنائية الاتجاهية من التحويلات (BERT). ويعمل التحويل التلافيفي على ربط الكلمات (tokens)، مما يمكّن ConvTextTM من معالجة مشكلة الكلمات غير المُدرجة في القاموس (out-of-vocabulary) وكذلك الأخطاء الإملائية. وقد قمنا بدراسة التفسيرية المحلية لطريقة المقترحة باستخدام ميزات تعتمد على العبارات (clause-based features). وتم إجراء تجارب واسعة على سبعة مجموعات بيانات، لإثبات أن دقة ConvTextTM إما تفوق أو تتساوى مع أداء أفضل النماذج الحالية (state-of-the-art baselines).