Evaluierung von Echtzeit-Anomalieerkennungsalgorithmen – die Numenta Anomaly Benchmark

Große Teile der weltweiten Daten sind strömende, zeitliche Datenreihen, bei denen Anomalien in kritischen Situationen wichtige Informationen liefern; Beispiele dafür finden sich in Bereichen wie Finanzen, IT, Sicherheit, Medizin und Energie. Dennoch ist die Erkennung von Anomalien in strömenden Daten eine schwierige Aufgabe, da Detektoren die Daten in Echtzeit verarbeiten müssen, nicht in Batches, und gleichzeitig lernen und Vorhersagen treffen müssen. Es gibt keine Benchmarks, die ausreichend geeignet wären, um die Effizienz von Echtzeit-Anomaliedetektoren angemessen zu testen und zu bewerten. Hier schlagen wir das Numenta Anomaly Benchmark (NAB) vor, das versucht, eine kontrollierte und wiederholbare Umgebung mit Open-Source-Tools bereitzustellen, um Anomalieerkennungsalgorithmen auf strömenden Daten zu testen und zu bewerten. Ein idealer Detektor würde alle Anomalien so schnell wie möglich erkennen, keine Falschalarme auslösen, mit realweltlichen Zeitreihendaten aus verschiedenen Bereichen arbeiten und sich automatisch an verändernde Statistiken anpassen. Diese Eigenschaften werden im NAB formalisiert, indem ein für strömende Daten ausgelegter Bewertungsalgorithmus verwendet wird. Das NAB evaluiert Detektoren anhand eines Benchmark-Datensatzes mit gekennzeichneten, realweltlichen Zeitreihendaten. Wir stellen diese Komponenten vor und geben Ergebnisse sowie Analysen für mehrere Open-Source-Algorithmen, die kommerziell eingesetzt werden. Das Ziel des NAB besteht darin, einen Standard-Open-Source-Rahmen zur Verfügung zu stellen, mit dem die Forschergemeinschaft verschiedene Algorithmen zur Erkennung von Anomalien in strömenden Daten vergleichen und bewerten kann.