Transformaly — اثنان (أبعاد الميزات) أفضل من واحد

كشف الشذوذ هو مجال بحثي مُستقر يهدف إلى تحديد العينات التي تقع خارج توزيع مُحدد مسبقًا. يتكوّن نموذج كشف الشذوذ من مرحلتين رئيسيتين: (1) استخلاص الميزات، و(2) تعيين درجات الطبيعة (الطبيعية). استخدمت الدراسات الحديثة شبكات مُدرّبة مسبقًا لاستخلاص الميزات، ما أدى إلى تحقيق نتائج متقدمة على مستوى الحد الأقصى من الأداء. ومع ذلك، فإن استخدام الشبكات المُدرّبة مسبقًا لا يستغل بالكامل العينات الطبيعية المتاحة أثناء التدريب. تُقترح في هذه الورقة الاستفادة من هذه المعلومات من خلال استخدام تقنية التدريب المُعلّم-الطالب. في بيئتنا، تُستخدم شبكة مُعلّم مُدرّبة مسبقًا لتدريب شبكة طالب على العينات الطبيعية في مرحلة التدريب. وبما أن شبكة الطالب تُدرّب فقط على عينات طبيعية، فمن المتوقع أن تختلف عن شبكة المُعلّم في الحالات الشاذة. ويمكن أن يُشكّل هذا التباين تمثيلًا مكملًا للمتجه الميزة المُدرّب مسبقًا. يُطبّق نهجنا، المُسمّى Transformaly، شبكة Vision Transformer (ViT) مُدرّبة مسبقًا لاستخلاص متجهين ميزة: متجهات الميزة المُدرّبة مسبقًا (المُحايِدة) ومتجهات الميزة الناتجة عن التدريب المُعلّم-الطالب (المُعدّلة). ونُبلغ عن تحقيق نتائج مُتقدمة على مستوى الحد الأقصى من الأداء من حيث مقياس AUROC في كلا الحالتين: الحالة الشائعة أحادية النمط، حيث تُعتبر فئة واحدة طبيعية والبقية شاذة، والحالة متعددة النمط، حيث تُعتبر جميع الفئات ما عدا فئة واحدة طبيعية، وتُعتبر فئة واحدة فقط شاذة. يُمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/MatanCohen1/Transformaly.