期望损失 Expected loss

期望损失是对全体样本的预测能力,是全局概念的一种;经验风险是局部概念,仅表示决策函数对训练数据集中样本的预测能力。 经验风险和期望风险 经验风险是局部的,基于训练集所有样本点损失函数最小化,经验风险局部最优,现实可求; 期望风险是全局的,基于所有样本点损失函数最小化,期望风险全局…

期望最大化 Expectation-Maximization

最大期望是在概率模型中寻找参数最大似然估计、最大后验估计的算法,其中概率模型基于无法观测因变量。 最大期望算法通常用于机器学习、计算机视觉的数据聚类领域,其经过两个步骤的交替计算: 计算期望 E:利用对隐藏变量的现有估计值,计算最大似然估计值;最大化 M:在计算期望上求得的 最大…

情绪分析 Emotional analysis

情绪分析是自然语言处理的一种常用方法,其基于文本的词汇分析,判断包含的具体情绪等标记。 情绪分析与情感分析具有相似之处,但是情绪分析包含更多种类的情绪信息,加拿大国家研究委员会官方发布的情绪词典包含以下 8 种情绪: 愤怒 Anger期待 Anticipation厌恶 Disgu…

频率主义学派 Frequentist

频率学派认为世界是确定的,存在一个真值不变的本体,频率学派的目标是找到真值或其所在范围。频率学派观点在于,随机事件背后必有某种深层的产生机制,虽然事件本身是随机的,但这个机制却是确定的。 不同于频率学派的是贝叶斯学派,前者与唯物主义观点一致,机制决定结果,虽然鼓励的结果具有随机性…

前馈神经网络 Feedforward Neural Networks

前馈神经网络是相对简单的人工神经网络,其内部参数从输入层向输出层单向传播,不同于递归神经网络,它的内部不会构成有向环。 前馈 Feedforward 也称为前向,从信号流的角度来看就是输入信号进入网络后,信号流动是单向的,即信号从前一层流向后一层直到输出层,其中任意两层之间的连接…

全局优化 Global Optimization

全局优化是应用数学和数值分析的一个分支,其试图在给定集合上找到函数的最小值或最大值,它通常被描述为最小化问题,因为实值函数的最大化可依据最小化方式类推得到。 全局优化与局部优化的区别在于,前者专注于在给定集合上找到极值,而不是找到局部极值。利用经典局部优化方法,找到任意局部最小值…

全局最小 Global minimum

全局最小是指所有点中最小的那个,相对概念是局部极小,若误差函数只有一个局部极小,那么此时的局部极小就是全局最小,若误差函数存在多个局部极小,则无法保证找的解是全局最小。 找到全局最小的方法 寻找多个局部最小,取其中的最小值;使用「模拟退火」技术;使用随机梯度下降法。

潜在语义分析 Latent semantic analysis

潜在语义分析主要是讨论字词背后的关系,而非字典上定义的基础,这种关系基于字词的实际使用环境,并以此作为基本参考。 这种思想源于心理语言学家,他们认为世界上数以百计的语言存在一个共同的机制,由此得出结论,任何人在特定的语言环境下成长都能掌握相关语言。基于这种思想,人们找到了一种简单…

平均梯度 Average gradient

平均梯度是指灰度变化率的平均值,它被用于表示图像清晰度,这是由于图像的边界或影线两侧附近灰度有明显差异导致的。 它反映了图像微小细节反差变化的速率,即图像多维方向上密度变化的速率,表征图像的相对清晰程度。 平均梯度即图像清晰度,反映图像对细节对比的表达能力,计算公式为 图像梯度:…

人工智能 Artificial Intelligence

人工智能亦称机器智能,是指由人制造出来的机器所表现出来的智能,通常人工智能是指通过普通计算机程序来呈现人类智能的技术。 研究课题 当前人工智能的研究方向已经被分成几个子领域,研究人员希望人工智能系统应该具有某些特定能力,目前主要由以下几种能力: 演绎、推理和解决问题 知识表示法 …

迁移学习 Transfer Learning

迁移学习是将现有知识用于学习新知识的方法,其中原有知识被称为源域 Source Domain,需要学习的新知识为目标域 Target Domain,迁移学习目的是从源任务 Source Tasks 中抽取知识、经验,并将其应用于目标域中。 迁移学习分类 基于特征空间: 同构迁移学…

权重 Weight

权重是一个相对概念,对于某一指标而言,权重是指该指标在整体评价中的重要程度。 在评价过程中,权重被用于评价对象不同侧面的重要程度,以便对各评价因子在总体评价中的作用进行区别对待,即没有终点的评价不是客观评价。 权的基本公式 求权的基本公式为 $latex {p\mathop{{}…

软间隔最大化 Soft margin maximization

软间隔最大化是一种优化方法,其主要是利用软间隔寻得最优解,选择最佳分离超平面是一个最优化问题,其依据是如何实现几何间隔最大化。 但实际中,要让训练数据集的几何间隔做到最大化,就需要所有训练样本达到分类超平面的几何间隔均大于此值。不同于硬间隔最大化,软间隔最大化加入了松弛变量的概念…

软间隔 Soft Margin

软间隔是处理线性不可分问题、减少噪点影响时引入的方法,其通过牺牲某些点必须正确划分的限制,以换取更大分割间隔的方法,其特点在分类时为了整体效果会存在错误点。 软间隔和硬间隔 硬间隔分类法:硬性要求样本点都满足一点,即分类平面间距离大于某个值。 软间隔分类法:允许个别样本不满足约束…

切分变量 Splitting Variable

切分变量是空间切分的参考变量,他在分类问题中被用于切分,以实现最优化分类的一类变量。 切分变量和切分点被用于寻找输入空间的最优划分法,也是相关指标和判断依据。