كشف غير مراقب في الزمن الحقيقي عن الأعطال في البيانات المتداولة

نلاحظ زيادة هائلة في توفر البيانات التدفقية الزمنية المتسلسلة. ويعود هذا جزئيًا إلى الارتفاع المتسارع لمصادر البيانات الزمنية الفعلية المتصلة، مما يطرح تحديات وفرصًا تقنية. أحد القدرات الأساسية لتحليل البيانات التدفقية هو نمذجة كل تدفق بشكل غير مراقب واكتشاف السلوك غير العادي أو الشاذ في الوقت الفعلي. ورغم أن الكشف المبكر عن الشذوذ يكون ذا قيمة كبيرة، إلا أنه قد يكون صعب التنفيذ بشكل موثوق في الممارسة العملية. وتتطلب القيود التطبيقية أن تُعالج الأنظمة البيانات في الوقت الفعلي، وليس بشكل دفعات. وتعكس البيانات التدفقية بطبيعتها ظاهرة "انزياح المفهوم" (concept drift)، مما يفضّل استخدام خوارزميات تتعلم بشكل مستمر. علاوةً على ذلك، فإن العدد الهائل من التدفقات المستقلة في البيئات العملية يتطلب أن تكون كاشفات الشذوذ مُحكمة التلقائية بالكامل. في هذا البحث، نقترح خوارزمية جديدة للكشف عن الشذوذ تلبي هذه القيود. تعتمد هذه التقنية على خوارزمية ذاكرة التسلسل الزمني المباشرة المعروفة بـ "الذاكرة الزمنية الهرمية" (Hierarchical Temporal Memory - HTM). كما نقدّم نتائج باستخدام معيار الأداء للشذوذ من نومينتا (Numenta Anomaly Benchmark - NAB)، وهو معيار يحتوي على تدفقات بيانات واقعية مُعلّمة بالشذوذ. ويمثل هذا المعيار أول معيار من نوعه، ويوفر بيئة مفتوحة المصدر ومحكومة لاختبار خوارزميات الكشف عن الشذوذ على البيانات التدفقية. ونقدّم نتائج وتحليلات لطيف واسع من الخوارزميات على هذا المعيار، ونناقش التحديات المستقبلية في المجال الناشئ لتحليل البيانات التدفقية.