稀疏自编码器 Sparse Autoencoders

稀疏自编码器（Sparse Autoencoders，简称 SAEs）是一种无监督机器学习算法，通过计算自编码的输出与原输入的误差，不断调节自编码器 (encoder) 的参数，最终训练出模型。自编码器可以用于压缩输入信息，提取有用的输入特征。

自编码器最初提出是基于降维的思想，但是当隐层节点比输入节点多时，自编码器就会失去自动学习样本特征的能力，此时就需要对隐层节点进行一定的约束，与降噪自编码器的出发点一样，高维而稀疏的表达是好的，因此提出对隐层节点进行一些稀疏性 (sparsity) 的限值。稀疏自编码器就是在传统自编码器的基础上通过增加一些稀疏性约束得到的。这个稀疏性是针对自编码器的隐层神经元而言的，通过对隐层神经元的大部分输出进行抑制使网络达到一个稀疏的效果。