规则学习 Rule Learning

规则学习是可对未见示例进行判别的规则,通常是由训练数据集的学习获得,其通常是 IF-THEN 规则,属于非监督学习的一种,常用被归属为分类的一种。

规则学习中的规则

规则:语义明确,可描述数据分布所隐含的客观规律或领域概念。

规则学习的规则分为两种:

  • 命题规则 Propositional Rule

由「原子命题」和逻辑连接词「与、或、非、和」构成的简单陈述句。

Examples:

Rule1: (胎生 = no ) ∧ (会飞 = yes ) → 鸟类

Rule2: (胎生 = no ) ∧ (在水里生活 = yes ) → 鱼类

  • 一阶规则 First-order Rule

不同于命题规则只处理简单的陈述命题,一阶逻辑额外包含断言和量化,一阶规则能表达复杂的关系,也被称为关系型规则。

生成规则的方法

  • 直接生成法 Direct Method:直接从训练集中归纳出规则;
  • 间接生产法 Indirect Method:从决策树转换得到。

规则学习的目的

规则学习目标是产生可覆盖尽可能多样例的规则集,其中序贯覆盖是普遍采用的方案,在训练集上没学到一条新的规则,就会覆盖该规则的训练样例,并噫剩下的训练样例组成训练集重复上述过程。

由于每次只处理一部分数据,因此这种方法也被称为分治策略。