在机器学习 (ML) 中，学习率是一个超参数，用于确定训练期间更新模型参数的步长。它是优化过程中的关键因素，并且会对模型的性能产生重大影响。
优化方法更新模型参数所采取的步骤大小由学习率决定，学习率通常在训练开始之前选择。如果学习率太高，模型的参数可能会更新得太快，这可能会导致其超出理想解决方案并表现出不稳定或振荡行为。如果学习率太低，模型的参数可能更新得太慢，这可能会阻碍收敛并需要更多的训练迭代才能获得最佳结果。
确定特定模型和数据集的理想学习率可能很困难，并且此过程经常涉及一些试验和错误。一种典型的方法是尝试各种学习率并评估模型在每个阶段的性能，以找到最佳的学习率。通过在训练过程中利用学习率调度等策略动态调整学习率，可以增强模型的收敛和优化。
选择正确的值会对模型的性能和收敛性产生重大影响，这使得学习率成为机器学习中的关键超参数。
【1】https://encord.com/glossary/learning-rate-definition/