归纳偏好 Inductive bias

归纳偏置可以看做是机器学习中的假设集合,它被用于机器学习中目标函数的必要假设,其中最典型的例子是奥卡姆剃刀。

归纳偏置基于数学逻辑,但在实际应用中,学习器的归纳偏置可能只是一个很粗糙的描述,甚至更为简单,相比之下,理论值过于严谨而无法被用于实际应用中。

归纳偏置的种类

目前常见的归纳偏置有以下几种方法:

  • 最大条件独立性:用于朴素贝叶斯分类器的偏置;
  • 最小交叉验证误差:当试图在假说中做选择时,应当选择具有最低交叉验证误差的假说;
  • 最大边界:用于支持向量机的偏置,该假设基于宽界线区分;
  • 最小描述长度:当构成一个假设时,用去最小化其假设的描述长度;
  • 最少特征数:特征选择算法使用的假设;
  • 最近邻居:用于最近邻居法的偏置,其与相近的样本倾向同属于一类别。