Command Palette
Search for a command to run...
百科
我们编汇了数百条相关词条,帮助您理解「人工智能」
Search for a command to run...
我们编汇了数百条相关词条,帮助您理解「人工智能」
自助法是一种从给定训练集中有放回的均匀抽样,也就是说,每当选中一个样本,它等可能的被再次选中并被再次添加到训练集中。 自助法由 Bradley Efron 于 1979 年在《Annals of Statistics》上 […]
对于一个样本,它在某一次含 m 个样本的训练集的随机采样中,每次被采集到的概率是 1m 。不被采集到的概率为 1−1m 。 若 m 次采样都没有被采集中的概率是 (1−1m)m,则当 m→∞时,(1−1m)m→1/e≃0 […]
玻尔兹曼机是随机神经网络和递归神经网络的一种,由杰弗里·辛顿 (Geoffrey Hinton) 和特里·谢泽诺斯基 (Terry Sejnowski) 于 1985 年发明。 玻尔兹曼机可被视作随机过程的,可生成的相应 […]
定义 二分法是一种算法,其输入是一个有序的元素列表。 如果要查找的元素包含在列表中,二分查找返回其位置;否则返回 null 。 基本思想 当数据量很大适宜采用该方法。 采用二分法查找时,数据需是排好序的 假设数据是按升序 […]
定义 二项检验是比较二分变量的两个类别的观察频率与指定概率参数的二项式分布下的期望频率,缺省情况下,两个组的概率参数均为 0.5 。 示例 掷出一枚硬币,正面朝上的概率等于 1/2 。 根据这一假设,将硬币抛掷 40 次 […]
表示分类任务中仅有两个类别,比如我们想识别一幅图片是或者不是猫。 即训练一个分类器,输入一幅图片,用特征向量 x 表示,输出是不是猫,用 y = 0 或 1 表示;二类分类是假设每个样本都被设置了一个且仅有一个标签 0 […]
定义 深度神经网络在语音识别,图像处理和自然语言处理等众多方向上体现了优越的效果,LSTM 作为 RNN 的一种变体,相比较于 RNN 可以学习到数据中长期依赖关系。 2005 年,Graves 提出了将 LSTM 与 […]
偏差-方差困境指无法同时降低偏差和方差,只能在两者之间取得均衡。 在模型中,若想降低偏差,便会增加模型的复杂度,防止欠拟合;但同时又不能让模型太复杂而导致方差增加,造成过拟合。因此在模型的复杂度上,需要找到一个平衡点,可 […]
「偏差-方差分解」是从偏差和方差的角度解释学习算法泛化性能的工具,具体定义如下: 假设存在 K 个数据集,每个数据集都是从一个分布 p(t,x) 中独立的抽取出来的 (t 代表要预测的变量,x 代表特征变量) 。 在不同 […]
定义: 期望输出与真实标记的差别称为偏差 (bias) 下图可以很好的说明偏差与方差的关系:
类间散度矩阵用于表示各样本点围绕均值的散布情况。 数学定义
定义 贝叶斯网络,是目前不确定知识表达和推理领域最有效的理论模型之一。贝叶斯网络, 由代表变量节点及连接这些节点有向边构成。 节点代表随机变量,节点间的有向边代表了节点间的互相关系,用条件概率进行表达关系强度,没有父节点 […]
基本概念 贝叶斯决策理论方法是统计模型决策中的一个基本方法,其基本思想是: 已知类条件概率密度参数表达式和先验概率 利用贝叶斯公式转换成后验概率 根据后验概率大小进行决策分类 相关公式 设 D1,D2,……,Dn 为样本 […]
为最小化整体风险,在样本上可使风险 R(c|x) 最小的类别标记,即 其中 h∗ 便是贝叶斯最优分类器。
在模型选择中, 通常从一组候选模型中选择一个「最优」模型,然后使用这个选定的「最优」模型进行预测。 不同于单一最优模型, 贝叶斯模型平均会给每个模型赋予权重, 并进行加权平均确定最终的预测值。其中,给某个模型赋予的权重是 […]
对每个样本 x,若 h 能最小化条件风险 R(h(x)|x),则总体风险也将被最小化。这就产生了贝叶斯判定准则(Bayes decision rule):为最小化总体风险,只需在每个样本上选择哪个能使条件风险 R(c|x […]
BN 是一套正则化方法,可以加速大型卷积网络的训练速度,同时提升收敛后的分类准确率。 BN 在用于神经网络某层时,会对每一个 mini-batch 数据的内部进行标准化处理,使输出规范化到 N(0,1) 的正态分布,减少 […]
在集成学习中,按组产生的「个体学习器」存在同质现象,其中这类学习器被称为基学习器,对应的学习算法被称为基学习算法。
长短期记忆(英语:Long Short-Term Memory,LSTM)是一种时间递归神经网络(RNN),论文首次发表于 1997 年。由于独特的设计结构,LSTM 适合于处理和预测时间序列中间隔和延迟非常长的重要事件 […]
信息熵适用于度量信息量规模的一个量,由香农于 1948 年提出,其借用了热力学中熵的概念,将信息中排除了冗余后的平均信息量称为信息熵,并给出了相关的数学表达式。 信息熵的三条性质 单调性:事件发生的概率越高,其携带的信息 […]
知识表征是指知识的表示和描述,其关心代理人 Agent 如何合理利用相关知识,这是一门将思考作为计算过程的研究。 严格来说,知识表征和知识推理是同一研究领域密切相关的两个概念,但实际上知识表征也被用于指代包含推理的广义概 […]
指数损失函数是 AdaBoost 算法中常用的损失函数,其函数表达式为指数形式,示意图如下。 常见损失误差 指数损失 Exponential Loss:主要用于 Adaboost 集成学习算法; 铰链损失 H […]
机器学习领域里面,真相指监督学习中,训练集对分类结果的准确设定值,一般被用于误差估算和效果评价。 监督学习中,标注数据通常以 ( x , t ) 的形式出现,其中 x 表示输入数据,t 表示标注,正确的标注便是 Grou […]
误差-分歧分解指将集成后的泛化误差分解开的过程,可以用下式表示: 该式中左边 E 表示集成后的泛化误差,右侧 $latex {\over […]