调参 Parameter Tuning

调参指调整参数以获得更好的效果,其目的在于得到更好的模型:修复出现的错误、提高神经网络训练精确度。

模型的最优参数依赖于许多场景,在模型评估和选择中,除了算法的选择,还需要对其参数进行设定,调参便是完成参数设定的过程。目前普遍做法是,对参数选择一个范围和变化步长,如在 [0 , 0.2] 之间以 0.05 为步长,这样可以得到的待选参数值有 5 个,理想值便会从这 5 个候选值中获得,虽然这样获得参数值非最佳值,但可在计算开销和性能估计之间折中。

调参的实现方法

  • 模型存在多个可调节参数,如 SVM 中核函数类型、 C 值的大小、决策树中树的深度;
  • 在选好特征和基础模型后,可通过调整模型参数来提高准确率;
  • 对于存在多个参数的模型,且每个参数存在不同的取值时,需要逐一测试;
  • 对于模型评估,通常会采用交叉验证法实现,如 K-折叠法,其将训练集划分为相等的 k 份,后每次从 1-k 中选择一份作为测试集,剩余的作为训练集,将训练好的规则用于模型评分,最后以 k 个评分中最高的作为最终得分。

通常,测试集上的判别效果会被用于估计模型实际应用中的泛化能力,训练数据则会另外划分为训练集和验证集,并基于验证集上的性能进行模型选择、调参。

参考来源:

【1】https://cloud.tencent.com/developer/article/1099605

【2】https://www.jianshu.com/p/e6feaad5399e