Dropout

Dropout 是一种在神经网络训练中使用的正则化技术,由 Geoffrey Hinton 和他的团队在 2012 年提出。相关论文成果为「Improving neural networks by preventing co-adaptation of feature detectors」,此外,Hinton 等人在 2012 年的论文「ImageNet Classification with Deep Convolutional Neural Networks」中也使用了 Dropout 算法,这篇论文同样对深度学习领域产生了深远的影响。

Dropout 的核心思想是在训练过程中随机地丢弃(即暂时移除)网络中的一些神经元,以及它们的连接,从而防止模型过拟合。 Dropout 通过这种方式强制网络中的每个神经元不依赖于其他特定神经元,增强了模型的泛化能力。

Dropout 的关键实现是在每次训练迭代中,每个神经元都以一定的概率(通常是一个超参数)被置为零,这样就能随机地创建出多个不同的网络结构。在测试时,所有神经元都激活,但是它们的权重会根据它们在训练过程中被保留下来的概率进行调整。这种方法可以看作是在训练过程中对多个不同的网络模型进行平均,而在测试时则使用这个平均模型的近似版本。

该算法首次被提出时,主要应用于前馈神经网络,但随后的研究扩展了其应用范围,使其也适用于卷积神经网络 (CNN) 和循环神经网络 (RNN) 。 Dropout 技术已被证明在多种任务上有效,包括视觉识别、语音识别、文档分类和计算生物学等,并在许多基准数据集上取得了当时最先进的结果。