异常检测 Anomaly detection

异常检测是对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别,通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。

异常检测技术应用

异常检测技术应用于各种领域,如入侵检测、欺诈检测、故障检测、系统健康监测、感测器网络事件检测和生态系统干扰检测等。它通常用于在预处理中删除从数据集的异常数据,去除异常数据的数据集在监督式学习中会显著提升准确性。

异常检测方法分类

无监督异常检测方法能通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常。

监督式异常检测方法需要一个已经被标记「正常」与「异常」的数据集,并涉及到训练分类器。

半监督式异常检测方法根据一个给定的正常训练数据集创建一个表示正常行为的模型,然后检测由学习模型生成的测试实例的可能性。

  • 基于模型的技术:许多异常检测技术首先建立一个数据模型,异常是那些同模型不能完美拟合的对象。
  • 基于邻近度的技术:通常可以在对象之间定义邻近性度量,异常对象是那些远离大部分其他对象的对象。
  • 基于密度的技术:对象的密度估计可以相对直接计算,特别是当对象之间存在邻近性度量。

应用场景

  • 欺诈检测:检测用卡安全
  • 入侵检测:检测计算机系统入侵行为
  • 医疗领域:检测人体健康