摘要
深度学习方法在许多应用场景中实现了最先进的性能。然而，这些方法需要大量的超参数调整才能达到最佳效果。特别是，在随机优化过程中调整学习率仍然是主要瓶颈之一。本文提出了一种新的适用于深度网络的随机梯度下降算法，该算法无需设置学习率。与以往的方法不同，我们既不调整学习率，也不利用目标函数的假设曲率。相反，我们将优化过程简化为一场“押注硬币”的游戏，并为此场景提出了一种无需设置学习率的最优算法。理论分析证明了该算法在凸函数和拟凸函数上的收敛性，实证结果也显示了我们的算法相对于流行的随机梯度下降算法的优势。