多元线性回归 Multiple linear regression

多元线性回归是针对多个变量做的线性回归。 多元线性回归方法和一元回归类似,只不过自变量多了,参数也多了。 多元回归常用函数 变量间线性相关系数cor(dataframe)散点图矩阵scatterplotMatrix(dataframe)线性拟合 参考来源 【1】 R语言与多元线性…

多维缩放 Multiple Dimensional Scaling

多维缩放( MDS )是一组对象之间的距离的可视化表示,也可以当做一种无监督降维算法使用。它是一种降维方法,可以缓解在高维情况下出现的样本数据稀疏和距离计算困难等。 是一种线性降维方式,与主成分分析法和线性降维分析法都不同的是,多维缩放的目标不是保留数据的最大可分性,而是更加关注…

泛化误差上界 Generalization error bound

泛化误差上界是指泛化误差允许的最大值,超过这个上界就会影响机器学习的可行性。 泛化误差是指由训练集泛化至训练集外的过程中产生的误差。一般用训练集外的误差,也即整个输入空间上的误差期望减去训练误差得到。 因为误差上界具有广泛的一般性, 推导过程中多次放大, 最终得到的上界非常松, …

多模态学习 Multimodal learning

模态是指人接受信息的特定方式。由于多媒体数据往往是多种信息的传递媒介(例如一段视频中往往会同时使得文字信息、视觉信息和听觉信息得到传播),多模态学习已逐渐发展为多媒体内容分析与理解的主要手段. 多模态学习主要包括以下几个研究方向: 多模态表示学习:主要研究如何将多个模态数据所蕴含…

多层感知机 Multilayer Perceptron

多层感知器( MLP )是一种前向结构的人工神经网络,映射一组输入向量到一组输出向量。 MLP 可以被看作是一个有向图,由多个的节点层所组成,每一层都全连接到下一层。除了输入节点,每个节点都是一个带有非线性激活函数的神经元(或称处理单元)。 一种被称为反向传播算法的监督学习方法常…

多分类 Multi-class classification

多分类有时也称多元分类,是指在分类任务中不止两种类别的归类。 现有的多类分类技术可以分为(i)转换为二进制(ii)从二进制扩展和(iii)分层分类。 常见策略 1) one-vs.-all 策略需要为每一个类建立一个唯一的分类器,属于此类的所有样例均为正例,其余的全部为负例。这一…

度量学习 Metric Learning

度量学习也可以认为是相似度。度量学习是为了衡量样本之间的相近程度,这是模式识别的核心问题之一。 度量学习的目标是为了,使同类样本之间的距离尽可能缩小,不同类样本之间的距离尽可能扩大。

仿射层 Affine Layer

仿射层是神经网络中的全连接层,其中仿射的可以看做是不同层神经元之间的相互连接,在许多方面可以被看作是神经网络的「标准」层。 仿射层的一般形式如下 y = f( wx + b) 注:x 是层输入,w 是参数,b 是一个偏差矢量,f 是一个非线性 激活函数 。 仿射层通常被用于卷积神…

对抗样本 Adversarial example

对抗样本是指,在神经网络中导致网络输出不正确的输入。 在数据集中通过故意添加细微的干扰所形成输入样本,受干扰之后的输入导致模型以高置信度给出错误的输出,所输入的样本即是对抗样本,这种行为通常被视作对神经网络模型的对抗攻击。 最早由 Christian Szegedy 等人在 IC…

对抗网络 Adversarial Networks

对抗网络是生成对抗网络的一种实现,用于针对指定的神经网络模型,批量生成对抗样本。 一个训练好的对抗生成网络能够有效地生成大量不同的对抗样本。这可以被攻击者用来生成不同于之前的攻击的攻击手段。但防御者也可以生成有标签的负例输入,从而增强他们的分类器的训练。 2018年初,由卡内基梅…

非饱和博弈 Non-Saturating Game

非饱和博弈是受到启发式方法的启发, 而不是基于理论的分析。 此博弈版本的唯一动机是保证当一个玩家面临失败时,也可以有一个稳定的梯度。 此博弈版本, 博弈不再是零和, 并且不能使用一个单一的值函数来描述。 【1】 https://sinpycn.github.io/2017/05/…

非均等代价 Unequal cost

非均等代价是指赋予每个类别造成的损失代价不同的情况。 在一些情形中,不同的预测结果可能造成的损失程度不同,给这样的分类赋予同样的代价函数不切合实际,此时可以根据分类的类别重要程度,为错误赋予「非均等代价」。 非均等代价下,考虑的不是有话错误的次数,而是最小化「总体代价」。 考虑非…

冯·诺伊曼架构 Von Neumann architecture

冯·诺伊曼结构也称冯·诺伊曼模型(Von Neumann model)或普林斯顿结构(Princeton architecture),是一种将程序指令存储器和数据存储器合并在一起的计算机设计概念结构。 本词描述的是一种实现通用图灵机的计算设备,以及一种相对于并行计算的序列式结构参…