百科

MCMC 是一种基于马尔科夫链从随机分布取样的算法，其通过在概率空间中随机采样以近似兴趣参数的后验分布。 MCMC 基础理论为马尔科夫过程，在相关算法中，为了在一个指定分布上采样，可根据马尔科夫过程，先从任意状态出发模拟 […]

演化算法是一种通用问题求解方法，其借鉴生物界的自然选择和自然遗传机制发展。 基本方法： 采用简单的编码技术表示各种复杂结构，利用进行简单的遗传操作和优胜劣汰的自然选择指导学习、确定搜索方向； 采用种群的方式组织搜索，使得 […]

遗传算法 GA 是计算数学中用于解决最优化问题的搜索算法，它是进化算法的一种，进化算法最初借鉴了进化生物学中的一些现象，其中包括遗传、突变、自然选择及杂交等。 遗传算法通常以计算机模拟的方式实现，对于一个最优化问题，在有 […]

增益率通常指信息增益率，其表示节点的信息与节点分裂信息度量的比值，增益率通常作为属性选择的方法之一，另外两种常见的方式是信息增益和基尼指数。 增益率公式如下： $latex {GainRatio{ \left( {R} […]

希尔伯特空间即完备的内积空间，可理解为带有内积的完备向量空间。 尔伯特空间基于有限维欧几里得空间，可看做是后者的推广，其不局限于实数和有限的维数，但又不是完备性。与欧几里得空间一样，希尔伯特空间也是内积空间，且有距离和角 […]

隐马尔科夫模型 HMM 是关于时序的概率模型，其描述由隐藏马尔科夫链随机生成的不可观测状态随机序列，再由各个状态生成一个可观测及产生观测随机序列的过程。 隐马尔科夫模型是统计模型，其被用于描述一个含有隐含未知参数的马尔科 […]

隐藏层指多级前馈神经网络中，除输入层和输出层之外的层，隐藏层不直接接受外界信号，也不直接向外界发送信号，仅仅当数据被非线性分离时才需要。 隐藏层上的神经元可采取多种形式，例如最大池化层和卷积层等，均会执行不同的数学功能， […]

硬投票是直接输出类标签的投票方法，主要存在于分类机器学习算法。 投票法是集成学习里面针对分类问题的一种组合策略，其基本思想是选择算法中输出最多的那个类，硬投票是选择算法输出最多的标签，若标签数量相等，则按照升序的次序进行 […]

独立同分布（IID）是指一组随机变量中每个变量的概率分布都相同，且这些随机变量互相独立 一组随机变量独立同分布并不意味着它们的样本空间中每个事件发生概率都相同。例如，投掷非均匀骰子得到的结果序列是独立同分布的，但掷出每个 […]

增量学习指新增数据时，只做关于新增数据的更新，增量学习可以不断从新样本中学习新的知识，同时保存大部分以前学习到的知识。 增量学习类似于人类学习模式，是一个逐渐积累和更新的过程。 传统学习方式为批量学习，其通过准备好所有数 […]

知识库是一种特殊的数据库，其被用于知识管理，以便于相关领域知识的采集、整理和提取，库中的知识源于领域专家，它是求解问题相关领域知识的集合，涵盖基本事实、规则和其他相关信息。 知识库是知识工程中结构化、易操作、易利用、全面 […]

K – 近邻算法 KNN 是一种基本分类和回归算法，其利用离自己最近的 K 个点投票决定分类数据的归类。 KNN 特点 KNN 属于惰性学习 KNN 计算复杂度较高 K 取值不同时，分类结果不同

JS 散度度量了两个概率分布的相似度，基于 KL 散度的变体，解决了 KL 散度非对称的问题。一般地，JS 散度是对称的，其取值是 0 到 1 之间。 定义如下： KL 散度和 JS 散度度量的时候有一个问题： 如果两个 […]

最小二乘回归树是一种常用回归树算法。 为了使平方误差最小，就需要依次对每个特征的取值进行遍历，并计算出当前每一个可能的切分点误差，最后选择切分误差最小的点，并将输入空间切分为两部分，递归上述步骤，直到切分结束，这种方法切 […]

隐狄利克雷分布 LDA 是一种主题模型，它可以将文档集中每篇文档的主题按照概率分布的形式表达，同时它也是一种无监督学习算法，训练时不需要手工标注的训练集，仅需要文档集、指定主题的数量 K 即可，此外，对于每个主题均可找出 […]

最小描述长度亦称最小描述长度原则，指在多种存放资料的假设中，能产生最多资料压缩效果的假说最佳。 最小描述长度原则是奥卡姆剃刀形式化后的一种结果，由 Jorma Rissanen 于 1978 年引入，其主要观点是：在任一 […]

元学习属于机器学习的子领域，其中自动学习算法应用于机器学习实验的元数据。 元学习的核心是「学习（训练）」过程，即研究如何让神经元可以很好的利用旧知识，使得其能根据新任务的调整自己，示意图如下： 神经网络的初始参数（蓝色■ […]

最大池化是一种常用的池化操作，其通过最大值的方式减少数据量，其通常操作是将输入的图像划分为若干个矩形区域，对每个子域输出最大值。 目前，常用的池化方法除了最大池化还有平均池化，其减少了来自上层隐藏层的复杂计算，可以不受目 […]

最大间隔指分类任务中，训练数据间隔距离最大的情况，满足最大间隔的超平面，可将数据分为正负两类，此时的决策置信度最大。 支持向量机中，存在硬间隔最大化和软间隔最大化，两者均为找出最大间隔的策略。

马尔科夫随机场即马尔科夫网络，它是一种用无向图描述的模型，包含一组结点，每个结点对应单变量或一组变量，结点之间的链接存在无向性。 马尔科夫随机场描述了在多个数据点中，两点之间没有明确的前后、方向关系，虽然两点之前存在相互 […]

自动摘要是使用软件缩短文本文档的过程，以便创建包含原始文档要点的摘要，目前是机器学习和数据挖掘领域的一部分，其目的是找到包含相关「信息」的数据子集。 自动摘要目前有提取和抽象两种方法，其中提取是根据原始文本中的单词、短语 […]

自动语音识别技术是一种将人的语音转换为文本的技术，由于语音信号的多样性和复杂性，目前语音识别系统只能在一定的限制条件下获得满意的性能（只能应用于某些特定的场合）。 自动语音识别定义 自动语音识别技术的目标是让计算机能够「[…]

自编码器是一种人工神经网络，在无监督学习中用于有效编码，通常用于降维。 它也是一种数据的压缩算法 ，其中数据的压缩和解压缩函数是有损的、从样本中自动学习的，但在大部分提到自动编码器的场合，压缩和解压缩的函数是通过神经网络 […]

人类的注意力机制基于直觉，它是人类利用有限的资源，从大量信息中快速筛选出高价值信息的手段。深度学习中的注意力机制借鉴了人类的注意力思维方式，被广泛的应用在自然语言处理、图像分类、语音识别等各种不同类型的场景中，并取得了显 […]