正则化 Regularization
正则化是引入附加信息以解决问题或防止过度拟合的过程，它是数学、统计学和计算机科学，尤其是机器学习和逆问题中的常用方法。
常用正则化法
- L2 正则化：所有参数 w 的平方和，除以训练集样本大小 n，λ 即正则项系数，用于权衡正则项与 C0 项的比重，此外还有一个系数 1/2 。添加正则化项的目的是减少参数平方和，机器学习中最常用的正则化法是对权重施加 L2 范数约束；
- L1 正则化：所有权重 w 绝对值的和，乘以 λ / n，L1 正则化向目标函数添加正则化项，以减少参数的绝对值综合，常被用于特征选择中；
- Dropout：L1 、 L2 正则化通过修改代价函数实现，Dropout 则是通过修改神经网络本体实现，它是训练神经网络时用的一种技巧；
- Drop Connect：Dropout 的一般化，是另一种减少算法过拟合的正则化策略，Drop Connect 通常将网络架构权重的一个随机选择子集设为 0；
- 早停法：限制模型最小化代价函数所需的训练迭代次数，其通常用于防止训练中过度表达的模型泛化性能差。