知识表征是指知识的表示和描述，其关心代理人 Agent 如何合理利用相关知识，这是一门将思考作为计算过程的研究。 严格来说，知识表征和知识推理是同一研究领域密切相关的两个概念，但实际上知识表征也被用于指代包含推理的广义概念，通常用后者的概念，即知识表征等价于知识表示与推理。 知识…
范围索引: YZ#
指数损失函数 Exponential loss function
指数损失函数是 AdaBoost 算法中常用的损失函数，其函数表达式为指数形式，示意图如下。 常见损失误差 指数损失 Exponential Loss：主要用于 Adaboost 集成学习算法；铰链损失 Hinge Loss：主要用于支持向量机 SVM；互熵损失 Cro…
真相／真实 Ground-truth
机器学习领域里面，真相指监督学习中，训练集对分类结果的准确设定值，一般被用于误差估算和效果评价。 监督学习中，标注数据通常以 ( x , t ) 的形式出现，其中 x 表示输入数据，t 表示标注，正确的标注便是 Ground-Truth，错误的标记便不是（也有人将所有标注数据称为…
演化计算 Evolutionary computation
演化算法是一种通用问题求解方法，其借鉴生物界的自然选择和自然遗传机制发展。 基本方法： 采用简单的编码技术表示各种复杂结构，利用进行简单的遗传操作和优胜劣汰的自然选择指导学习、确定搜索方向；采用种群的方式组织搜索，使得它可以同时搜索解空间的多个区域，其适合大规模并行计算；效率较高…
遗传算法 Genetic Algorithm
遗传算法 GA 是计算数学中用于解决最优化问题的搜索算法，它是进化算法的一种，进化算法最初借鉴了进化生物学中的一些现象，其中包括遗传、突变、自然选择及杂交等。 遗传算法通常以计算机模拟的方式实现，对于一个最优化问题，在有一定数量候选解的情况下，其可抽象表示为染色体，以使种群向更好…
增益率 Gain ratio
增益率通常指信息增益率，其表示节点的信息与节点分裂信息度量的比值，增益率通常作为属性选择的方法之一，另外两种常见的方式是信息增益和基尼指数。 增益率公式如下： $latex {GainRatio{ \left( {R} \right) }=\frac{{Gain \left( R…
隐马尔可夫模型 Hidden Markov Model
隐马尔科夫模型 HMM 是关于时序的概率模型，其描述由隐藏马尔科夫链随机生成的不可观测状态随机序列，再由各个状态生成一个可观测及产生观测随机序列的过程。 隐马尔科夫模型是统计模型，其被用于描述一个含有隐含未知参数的马尔科夫过程，其难点是基于可观察参数确定该过程的隐含参数，后利用这…
隐藏层 Hidden layer
隐藏层指多级前馈神经网络中，除输入层和输出层之外的层，隐藏层不直接接受外界信号，也不直接向外界发送信号，仅仅当数据被非线性分离时才需要。 隐藏层上的神经元可采取多种形式，例如最大池化层和卷积层等，均会执行不同的数学功能，若将整个网络视为数学转换的管道，那么隐藏层将被转换并组合在一…
硬投票 Hard voting
硬投票是直接输出类标签的投票方法，主要存在于分类机器学习算法。 投票法是集成学习里面针对分类问题的一种组合策略，其基本思想是选择算法中输出最多的那个类，硬投票是选择算法输出最多的标签，若标签数量相等，则按照升序的次序进行选择。 参考来源 【1】sklearn 中的投票法 (个人博…
硬间隔 Hard margin
硬间隔是支持向量机中用于选择分割超平面的依据，其是指完全分类准确，不存在损失函数的情况，即损失值为 0，只需找出两个异类正中间的平面，与硬间隔相对的是软间隔。 软间隔指允许一定量的样本分类错误，其中优化函数包括两个部分，分别是点到平面的间隔距离和误分类的损失个数；C 为惩罚系数，…
增量学习 Incremental learning
增量学习指新增数据时，只做关于新增数据的更新，增量学习可以不断从新样本中学习新的知识，同时保存大部分以前学习到的知识。 增量学习类似于人类学习模式，是一个逐渐积累和更新的过程。 传统学习方式为批量学习，其通过准备好所有数据，以应对随时更新的数据，而无需重新训练和学习。增量学习则解…
知识库 Knowledge base
知识库是一种特殊的数据库，其被用于知识管理，以便于相关领域知识的采集、整理和提取，库中的知识源于领域专家，它是求解问题相关领域知识的集合，涵盖基本事实、规则和其他相关信息。 知识库是知识工程中结构化、易操作、易利用、全面有组织的知识集群，是针对某一领域问题求解的需要，采用某种知识…
K 近邻算法 K-Nearest Neighbours Algorithm
K - 近邻算法 KNN 是一种基本分类和回归算法，其利用离自己最近的 K 个点投票决定分类数据的归类。 KNN 特点 KNN 属于惰性学习KNN 计算复杂度较高K 取值不同时，分类结果不同
JS 散度 Jensen-Shannon Divergence
JS 散度度量了两个概率分布的相似度，基于 KL 散度的变体，解决了 KL 散度非对称的问题。一般地，JS 散度是对称的，其取值是 0 到 1 之间。 定义如下： KL 散度和 JS 散度度量的时候有一个问题： 如果两个分配 P,Q 离得很远，完全没有重叠的时候，那么 KL 散度…
最小二乘回归树 Least squares regression tree
最小二乘回归树是一种常用回归树算法。 为了使平方误差最小，就需要依次对每个特征的取值进行遍历，并计算出当前每一个可能的切分点误差，最后选择切分误差最小的点，并将输入空间切分为两部分，递归上述步骤，直到切分结束，这种方法切分的树被称为最小二乘回归树。 这种方法的复杂度较高，尤其在寻…