错误率 Error rate

错误率是指在预测中,预测错误所占的比例。一般的计算公式是: 1 - 准确度。 精度accuracy:指的是,预测正确了的样本占总样本的比例。 训练好的模型, 可以测定某一模型在数据集中的错误率, 重要的是3个数: bayes optimal error, 这是极限值, 不可测, …

超限学习机 Extreme Learning Machine

超限学习机是人工智能机器学习领域中的一种人工神经网络模型,是一种求解单隐层前馈神经网络的学习算法。 传统的前馈神经网络(如 BP 神经网络)需要人为设置大量的网络训练参数,此算法却只需要设定网络的结构,而不需设置其他参数,因此具有简单易用的特点。其输入层到隐藏层的权值是一次随机确…

博弈论 Game theory

博弈论考虑游戏中的个体的预测行为和实际行为,并研究它们的优化策略。表面上不同的相互作用可能表现出相似的激励结构,所以它们是同一个游戏的特例。其中一个有名例子是囚徒困境。 具有竞争或对抗性质的行为称为博弈行为。在这类行为中,参加斗争或竞争的各方各自具有不同的目标或利益。为了达到各自…

层次聚类 Hierarchical clustering

层次聚类是一类算法的总称,是通过从下往上不断合并簇,或者从上往下不断分离簇形成嵌套的簇。这种层次的类通过“树状图”来表示。AgglomerativeClustering算法是一种层次聚类的算法。 层次聚类试图在不同的“层次”上对样本数据集进行划分,一层一层地进行聚类。 在聚类树中…

边缘化 Marginalization

边缘化是一种从一个变量找到另一变量的方法,它要求对一个变量的可能值求和,以确定另一个变量的边缘贡献。这个定义可能听起来有点抽象,让我们用一个例子来说明这一点。 假设我们对天气如何影响英国人的幸福这一话题感兴趣。我们可以把它写成P(幸福|天气),即给定天气类型的情况下一个人的幸福水…

边缘分布 Marginal Distribution

边缘分布指在概率论和统计学的多维随机变量中,只包含其中部分变量的概率分布。 在这个边缘分布中,我们得到只关于一个变量的概率分布,而不再考虑另一变量的影响,实际上进行了降维操作。在实际应用中,例如人工神经网络的神经元互相关联,在计算它们各自的参数的时候,就会使用边缘分布计算得到某一…

重赋权法 Re-weighting

重赋权法是指在训练过程的每一轮中,根据样本分布为每个训练样本重新赋予一个权重。 参考来源: 【1】 http://www.helsinki.fi/~rummukai/lectures/montecarlo_oulu/lectures/mc_notes4.pdf

变分推断 Variational inference

变分推断是引入变分参数来达到近似推断的一种方法。 通过限制近似分布的类型,得到一种局部最优、但具有确定解的近似后验分布。 常用于贝叶斯估计和机器学习领域中近似计算复杂积分,适用于各种复杂模型的推断。 参考来源 【1】 http://crescentmoon.info/2013/1…

标记化 Tokenization

标记化也称词汇分析,是将字符(例如在计算机程序或网页中)转换成标记(具有指定且因此标识的含义的字符串)的过程。 执行词法分析的程序可以称为词法分析器,标记器,或扫描仪,但扫描仪也是词法分析器第一阶段的术语。词法分析器通常与解析器组合,解析器一起分析编程语言,网页等的语法。 标记化…

词义消歧 Word sense disambiguation

词义消歧( WSD ) 即在词语层次上的语义消歧。它是一个自然语言处理和本体论的开放问题。 歧义与消歧是自然语言理解中最核心的问题,在词义、句义、篇章含义层次都会出现语言根据上下文语义不同的现象,消歧即指根据上下文确定对象语义的过程。 语义消歧/词义消歧 是自然语言处理任务的一个…

词嵌入 Word embedding

词嵌入是自然语言处理( NLP )中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。 词嵌入的方法包括人工神经网络、对词语同现矩阵降维、概率模型以及单词所在上下文的显式表…

半监督支持向量机 semi-Supervised Support Vector Machine

半监督支持向量机( S3VM )是支持向量机在半监督学习上的推广。相对于支持向量机要找出最大间隔划分超平面,S3VM 考虑了未标注样本的信息,试图找到能将两类有标记样本分开,且穿过数据低密度区域的划分超平面。 S3VM 的特点 S3VM 基于聚类假设,试图通过探索未标记数据来规范…

表示定理 Representer Theorem

表示定理是统计学习中的一个定理,表明在再生核 Hilbert 空间上定义的正则化风险函数的最小值,可以表示为在核函数的线性组合。 实际应用举例 在 L2 正则化问题上: 表示定理是指任意一个 L2 正则化的问题,其最佳 w∗ 都可以用 βn 与 Zn 线性组合得到。 表示定理的意…

残差网络 Residual Network

残差网络( ResNet )是在简单网络的基础上,插入了快捷连接,将网络转化为其对应的残差版本。残差网络并不直接拟合目标,而是拟合残差。 ResNet 的基本思想是引入了能够跳过一层或多层的“ shortcut connection ”。 原始模型相当于在函数 f( x )的空间…