تاريخ: اكتشاف الانحرافات في النص من خلال الإشراف الذاتي لمحولات التحويل

شهد استخدام نماذج التعلم العميق في الكشف عن الشذوذ (AD) انتشارًا واسعًا في السنوات الأخيرة بفضل أداؤها المتفوق مقارنة بالطرق التقليدية. تُعد الطرق العميقة الحديثة للشذوذ في الصور قادرة على تعلم ميزات أفضل للطبيعة الطبيعية في بيئة تدريب ذاتية التعلم (self-supervised) من الطرف إلى الطرف. تقوم هذه الطرق بتدريب نموذج لتمييز بين التحولات المختلفة المطبقة على البيانات البصرية، ثم تستخدم المخرجات لحساب درجة الشذوذ. نستخدم هذا النهج في الكشف عن الشذوذ النصي، من خلال تقديم مهمة سابقة (pretext task) جديدة على التسلسلات النصية. نقوم بتدريب نموذجنا DATE من الطرف إلى الطرف، مع تطبيق إشارتين ذاتيتين مستقلتين ومكملتين، إحداهما على مستوى الرموز (token-level) والأخرى على مستوى التسلسل (sequence-level). وباستخدام هذا الت formulization الجديد للمهمة، نُظهر نتائج كمية ونوعية قوية على مجموعتي بيانات 20Newsgroups وAG News. وفي البيئة شبه المراقبة (semi-supervised)، نتفوق على النتائج الرائدة (state-of-the-art) بنسبة +13.5% و+6.9% على التوالي (حسب مقياس AUROC). وفي التكوين غير المراقب (unsupervised)، يتفوق DATE على جميع الطرق الأخرى حتى عندما يكون 10% من بيانات التدريب ملوثة بقيم شاذة (outliers)، مقارنة بـ 0% في الطرق الأخرى.