参数凝聚 (Condensation) 是深度学习理论中的一个概念，它描述了在神经网络训练过程中，模型参数倾向于向特定值或方向聚集的现象。这种现象有助于提高模型的泛化能力，并在一定程度上解释了为什么具有大量参数的神经网络在实际应用中并没有出现过拟合的问题。
参数凝聚现象由上海交通大学的许志钦副教授及其学生张众望于 2022 年首次提出，并在他们的一系列研究中进行了深入探讨。他们的研究成果为「Implicit Regularization of Dropout」，并发表在了包括 IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 在内的多个顶级学术期刊和会议上 。
在神经网络训练中，参数凝聚现象表现为，随着训练的进行，网络的参数会逐渐稳定并趋于一致，这有助于模型捕捉到数据中的主要特征，并提高模型的预测准确性。参数凝聚与频率原则相结合，可以更好地解释神经网络的训练行为和泛化能力。此外，许志钦副教授的团队还发现，常用的 Dropout 正则化技术可以促进参数凝聚的形成，从而提高神经网络的泛化性能。 Dropout 通过在训练过程中随机丢弃一些神经元，增加了模型的鲁棒性，并有助于避免过拟合。
参数凝聚的发现为理解深度神经网络的工作原理提供了新的视角，并为设计更加有效的神经网络模型和训练策略提供了理论基础。随着对这一现象的进一步研究，有望在深度学习的基础理论和应用实践中取得更多突破。