感知机是一种二元线性分类模型,可看作是一种简单形式的前馈神经网络,由 Frank Rosenblatt 于 1957 年提出,其输入实例的特征向量,输出实例的类别。
作为一种线性分类器,其可被看作是最简单的前向人工神经网络,尽管结构简单但依旧可以学习和处理复杂问题,其主要缺陷在于无法处理线性不可分问题。
感知器定义
感知器使用特征向量表示前馈神经网络,它是一种二元分类器,可将矩阵上的如 x 映射到输出值 f(x) 上。
%20%7D%20%5Cleft%5C%7B%20%5Cbegin%7Barray%7D%7B*%7B20%7D%7Bl%7D%7D%20%7B1%5Ctext%7B%E2%80%89%7D%5Ctext%7B%E2%80%89%7D%2Cw%E2%B8%B3x%2Bb%5Ctext%7B%E2%80%89%7D%20%3E%20%5Ctext%7B%E2%80%89%7D0%7D%5C%5C%20%7B0%5Ctext%7B%E2%80%89%7D%5Ctext%7B%E2%80%89%7D%2C%20%E5%85%B6%E4%BB%96%7D%20%5Cend%7Barray%7D%5Cright.%20%7D)
其中,w 是实数的表示权重向量,w · x 是点积,b 是偏置常数。
f(x) 用于对 x 进行分类,以判断其是肯定的还是否定的,这属于二元分类问题,若 b 为负值,那么加权后的输入值必须产生一个肯定值且大于 -b,这样才能令分类神经元大于阈值 0,从空间上看,偏置会改变决策边界的位置。
感知机学习策略
核心:极小化损失函数
若训练集可分,那么感知机的学习目的便是求得一个分离超平面,其可将训练集正实例点和负实例点完全分开。为了确定感知机模型参数 w 和 b,一般采用损失函数同时将损失函数极小化。
关联词:多层感知机、神经网络