特征值分解 Eigenvalue decomposition

特征分解是一种表示矩阵之积的方法,其通过将矩阵分解为特征值、特征向量表示,不过只有可对角化矩阵才可被特征分解。 矩阵乘法对应了一个变换,即将任意向量转变为另一个方向、长度的新向量,在这个过程中,原向量会发生旋转、伸缩的变化,若矩阵对某些向量只发生伸缩变换,而没有旋转,那么其就被成…

梯度爆炸问题 Exploding Gradient Problem

梯度爆炸问题通常出现在深层网络、权值初始化值过大的情况下,其一般随着网络层数的增加而明显。 通过对激活函数求导,若结果大于 1,那么层数增加时,最终求出的梯度更新将以指数形式增加,即发生梯度爆炸;若结果小于 1,那么层数增加的时候,最终求出的梯度更新将以指数形式衰减,即发生梯度消…

特征选择 Feature selection

特征选择是选择特征子集的过程,通常被用于共建模型,其优点主要有以下几点: 简化模型;缩短训练时间;改善通用性、降低过拟合 特征选择算法可被看作搜索技术、评价指标的结合,前者提供候选的新特征子集,后者为不同的特征子集打分。最简单的算是测试每个子集,并找到错误率最低的子集。这种算法需…

图论 Graph theory

图论是组合数学的分支,主要研究对象是图,这里的图是指由若干给定顶点、连接两顶点边构成的图形,常被用于描述事物间的特种关系,其中顶点代表事物,边则表示它们之间的联系。 图论起源于柯尼斯堡七桥问题,欧拉在 1736 年解决了这个问题,因此被认为是图论的创始人。 参考来源 【1】图论-…

生成模型 Generative Model

机器学习中,生成模型可被用于直接对数据建模,也可被用于建立变量间的条件概率分布,条件概率分布可基于贝叶斯定理的生成模型。 生成模型适用于无监督任务,如分类、聚类,其中典型的生成模型包括以下几类: 高斯混合模型 和其他混合模型隐马尔可夫模型随机上下文无关文法朴素贝叶斯 分类器AOD…

生成对抗网络 Generative Adversarial Networks

生成对抗网络是一种非监督学习方法,其通过让两个神经网络相互博弈的方式实现,这种方法由伊恩·古德费洛于 2014 年提出。 生成对抗网络包括生成网络和判别网络,生成网络以潜在空间中随机采样作为输入,输出结果需要尽可能模仿训练集中的真实样本;判别网络的输入则为真实样本、生成网络的输出…

调和平均 Harmonic mean

调和平均是一种平均数计算方法,其分为简单和加权两种形式,其中加权调和平均数是加权算术平均数的变形。由于大多数情况下,只知道每组某个标志的数值总和 m,而缺少总体单位数 f 的信息,因此不可直接采用加权算术平均数法计算,而采用加权调和平均数。 加权算术平均的计算公式为: $late…

损失函数 Loss function

损失函数是用于衡量、预测模型好坏的度量,其反映了模型预测值与真实值之间的差距,它是经验风险函数的核心部分,也是结构风险函数的组成部分。 常见损失函数 Log 对数损失函数平方损失函数指数损失函数Hinge 损失函数

属性条件独立性假设 Attribute conditional independence assumption

朴素贝叶斯分类器采用了「属性条件独立性假设」:对已知类别,假设所有属性相互独立。 改进朴素贝叶斯: 为避免其他属性携带的信息被训练集中从未出现的属性值「抹去」,在估计概率值时通常要进行「平滑」,常用「拉普拉斯修正」; 对属性条件独立性假设进行一定程度的放松; 借助有向无环图来刻画…

属性空间 Attribute space

属性空间:属性张成的空间,又称为「样本空间(sample space)」或「输入空间」。 特征空间:所选择的排除线性相关和对模型构建没有益处后的属性,所构成的属性空间,就叫特征空间。 相关概念 数据集(data set):一组数据的集合称 示例(instance)或样本(samp…

通用人工智能 Artificial General Intelligence/AGI

通用人工智能是指具备与人类同等智慧、或超越人类的人工智能,能表现正常人类所具有的所有智能行为,它是人工智能研究的主要目标之一,也是科幻小说和未来学家所讨论的主要议题。 检验通用人工智能的操作性手段 通用人工智能需要通过什么样的测试标准,目前主要有以下几种测试方案: 图灵测试:由图…

算法 Algorithm

算法是解题方案的准确而完整的描述,在数学和计算机科学中可以被视为具体计算步骤的一个序列,算法中的指令描述是完整的计算过程,即运行时能从一个初始状态和初始输入开始,经过一系列有限而清晰定义的状态,最终产生输出并停止于一个终态。 简单来说,所谓算法(algorithm)就是定义良好的…

声学模型 Acoustic modeling

声学模型用于计算模型产生语音波形的概率,它是语音识别系统中最为重要的部分之一,且占据大部分计算开销,决定着语音识别系统的性能。 发展历程 传统方法:基于隐马尔可夫的声学模型,如 GMM-HMM 建模方法 —— GMM 用于对语音声学特征的分布进行建模,HMM 用于对语音信号的时序…

试错法 Tria-by-error

试错法是通过不断尝试解决问题的方法,其先在问题上选择一个可能的方法,如果验证失败,则选择另一个可能的解法进行尝试,整个过程在得出正确结果后结束。 试错法的特点 解决问题导向:试错法无需了解某种解法为什么会成功,只需解决问题;针对某个特定问题:试错法无需找出可被广泛应用、拿来解决其…

数值属性 Numerical attribute

数值属性是描述数据的一种属性类型,它表明数据是可度量的,数据属性可分为区间标度和比率标度。 区间属性:数值之间的差有意义,即存在测量单位,如日期、时间、温度等; 比率属性:数值之间的差和比率有意义,如货币量、质量、长度。