세계의 대부분 데이터는 스트리밍 시간 시리즈 데이터로, 이 데이터에서의 이상 징후는 중요한 상황에서 중대한 정보를 제공합니다. 금융, IT, 보안, 의료, 에너지 등 다양한 분야에서 이러한 예가 많이 발견됩니다. 그러나 스트리밍 데이터에서 이상 징후를 감지는 어려운 작업으로, 감지기가 실시간으로 데이터를 처리하고 동시에 예측을 수행하면서 학습해야 합니다. 실시간 이상 징후 감지기에 대한 효과성을 적절히 테스트하고 평가할 수 있는 벤치마크가 없습니다. 여기서 우리는 Numenta Anomaly Benchmark (NAB)를 제안하는데, 이는 오픈 소스 도구를 사용하여 스트리밍 데이터에서의 이상 징후 감지 알고리즘을 테스트하고 측정하기 위한 제어되고 반복 가능한 환경을 제공하려고 합니다. 완벽한 감지기는 가능한 한 빠르게 모든 이상 징후를 감지하며, 잘못된 경보를 일으키지 않으며, 다양한 분야의 실제 세계 시간 시리즈 데이터와 함께 작동하고 자동으로 변화하는 통계에 적응해야 합니다. 이러한 특성을 보상하는 것은 NAB에서 스트리밍 데이터를 위한 점수화 알고리즘을 통해 형식화되었습니다. NAB는 라벨이 부착된 실제 세계 시간 시리즈 데이터셋을 사용하여 감지기를 평가합니다. 우리는 이러한 구성 요소들을 소개하며, 여러 오픈 소스 및 상업적으로 사용되는 알고리즘에 대한 결과와 분석을 제시합니다. NAB의 목표는 연구 커뮤니티가 스트리밍 데이터에서의 이상 징후 감지를 위한 다양한 알고리즘을 비교하고 평가할 수 있는 표준적인 오픈 소스 프레임워크를 제공하는 것입니다.