百科

流形假设是半监督学习中的常用假设，另一种是聚类假设。 流形假设是指具有相似性质的示例，其通常处于较小的局部领域，因此标记也十分相似，这种假设反映了决策函数的局部平滑性。 不同于关注整体特性的聚类假设，流形假设更关注模型的 […]

极大似然估计是一种估计方法，主要用于确定模型参数，其通过找到最大化模型观测值的可能数据，并以此作为最终选择。 极大似然估计中采样满足独立同分布的假设，其目的在于利用已知的样本结果，反推最大概率导致相关结果的参数值。

懒惰学习是一种训练集处理方法，其会在收到测试样本的同时进行训练，与之相对的是急切学习，其会在训练阶段开始对样本进行学习处理。 若任务数据更替频繁，则可采用懒惰学习方式，先不进行任何训练，收到预测请求后再根据当前数据进行概 […]

类比学习是一种认知思维与推测的方法，其通过将两类事物或情形进行比较，找出它们在对象层上的相似关系，并以此为依据对比事物与情形之间的关系，通过适当整理/交换对应到另一事物上，从而获得对应的解。 类比学习的分类方法有以下几种 […]

留出法是一种模型评估方法，其通过将数据集 D 划分为两个互斥的集合，假设其中一个集合为训练集 S，另一个为测试集 T，则有： D = S ∪ T , S ∩ T = ∅ 训练/测试集的划分要尽可能保持数据分布的一致，为避 […]

剪枝是让决策树停止分支的一种方法。是为了解决决策树出现过拟合问题时的处理手段。

假设检验是一种检验统计假设的方法，主要用于推论统计，其中「统计假设」是一种检验科学假说，主要通过观察随机变量的模型进行，在可估计未知参数的前提下，便可根据结果对未知参数值做出适当的推论。 统计上对参数的假设，是对一个或多 […]

集成学习是将多个模型组合成高精度模型的思想，主要用于机器学习领域，它不是一个单独的机器学习算法，而是通过构建和结合多个学习器以完成学习任务。 集成学习可被用于分类问题、回归问题、特征选取、异常点检测等，可以说所有的机器学 […]

纠错输出编码法 ECOC 可将多类问题转换为多个两类问题，且纠错输出码本身具有纠错能力，可提升监督学习算法的预测精度。 对输出类别编码可将多类问题两类化，即每个类别对应一个长度为 n 的二进制位串，共形成 m 个码字，这 […]

经验风险展示了模型对训练样本的预测能力，其通过对所有训练样本求一次损失函数，再累加求平均得出，其中损失函数是期望风险、经验风险和结构风险的基础。 损失函数是针对单个具体的样本而言的，表示的是模型预测值与真实值之间的差距。 […]

k-均值聚类是一种向量量化方法，早期被用于信号处理，目前主要作为一种聚类分析方法活跃于数据挖掘领域。 k-均值聚类的目的是将 n 个点划分至 k 个聚类中，使得每个点都属于最近的均值对应的聚类，并以此作为聚类标准，这类问 […]

间隔理论是支持向量机中的概念，其中间隔是指超平面划分两类样本之间的最小距离，而间隔理论可被用于解释 AdaBoost 算法在训练误差为 0 的情况下，继续训练可进一步提升模型的泛化性能。 令 x 和 y 代表样例的输入和 […]

感知机是一种二元线性分类模型，可以被视为一种最简单形式的前馈神经网络，是 Frank Rosenblatt 在 1957 年发明的一种模型。其输入为实例的特征向量，输出为实例的类别。

国际神经信息处理系统会议（NIPS），是每年 12 月份，由 NIPS 基金会主办的机器学习和神经计算领域的顶级会议。

归一化是将数据映射到指定的范围，用于去除不同维度数据的量纲以及量纲单位，以提高不同数据指标之间的可比性。

近端梯度法（PGD）是一种特殊的梯度下降方法，主要用于求解目标函数不可微的最优化问题。

后剪枝是指在决策树生成后进行的剪枝操作。

概率图模型是指用图结构来表达变量相关关系的概率模型。

回归是一种对数值型连续随机变量进行预测和建模的监督学习算法。

规则学习是从训练数据中学习出一组由原子命题组成的 IF-THEN 的规则, 属于非监督学习的一种, 常用被归属为分类的一种.

根结点是在树数据结构中第一个结点。通常的结点可能具有父结点和子结点，但由于根音符是第一个结点，因此它只有子结点。

粒子群优化算法（PSO），又称微粒群算法，是基于群体智能理论的优化算法, 群体中的粒子在每次迭代搜索的过程中, 以完成对问题的寻优过程。

规则引擎由推理引擎发展而来，是一种嵌入在应用程序中的组件，实现了将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策。

核范数是矩阵奇异值的和，用来约束矩阵的低秩。