Jiawei Liu Jiahe Hou Wei Wang Jinsong Du Yang Cong Huijie Fan

الملخص

كشف التسربات، الذي يهدف إلى تحديد التسربات المنحرفة عن الأنماط الطبيعية، يُعدّ تحديًا بسبب القلة النسبية للبيانات الطبيعية المتاحة. على عكس معظم الطرق الموحّدة الحالية التي تعتمد على مُستخرجات ميزات صورية مصممة بعناية وبنوك ذاكرة لالتقاط العلاقات المنطقية بين الكائنات، نقدّم بنك ذاكرة نصية لتعزيز كشف التسربات المنطقية. وبشكل محدد، نقترح إطار عمل يُسمى TMUAD (Three-Memory for Unified Structural and Logical Anomaly Detection)، والذي يعتمد على ثلاث بنوك ذاكرة متكاملة. أولاً، نبني بنك ذاكرة نصية على مستوى الفئة للكشف عن التسربات المنطقية باستخدام مستخرج نصي مُدرَّب على الوعي بالمنطق، والذي يمكنه استخلاص وصفات منطقية غنية للكائنات من الصور المدخلة. ثانيًا، ننشئ بنك ذاكرة صوري على مستوى الكائن، يحفظ حدود الكائنات الكاملة من خلال استخراج الميزات من الكائنات المُقسَّمة. ثالثًا، نستخدم مُشفّرات بصرية لاستخراج ميزات صورية على مستوى اللوحة (patch-level) بهدف إنشاء بنك ذاكرة على مستوى اللوحة للكشف عن التسربات الهيكلية. تُستخدم هذه البنوك الثلاثة المتكاملة لاسترجاع الصور الطبيعية الأكثر تشابهًا مع الصورة المطلوبة، وحساب درجات التسربات على مستويات متعددة، ثم دمجها في درجة تسرب نهائية. وبفضل دمج الكشف عن التسربات الهيكلية والمنطقية من خلال بنوك ذاكرة تتعاون معًا، يحقق نموذج TMUAD أداءً متميزًا على مستوى الحد الأقصى (state-of-the-art) عبر سبعة مجموعات بيانات متاحة علنًا تشمل مجالات صناعية وطبية. يُتاح النموذج والكود المصدري عبر الرابط التالي: [هذا الرابط]