17 天前

单位空间内的扰动梯度更新用于深度学习

Ching-Hsun. Tseng, Liu-Hsueh. Cheng, Shin-Jye. Lee, Xiaojun Zeng
单位空间内的扰动梯度更新用于深度学习
摘要

在深度学习中,优化算法起着至关重要的作用。本文以图像分类任务为研究对象,系统分析了当前广泛使用的优化器的优缺点,并提出了一种新型优化算法——扰动单位梯度下降法(Perturbated Unit Gradient Descent, PUGD)。该算法在扰动框架内引入了张量空间中的归一化梯度操作,实现于单位空间内的参数更新。通过一系列实验与深入分析,我们证明PUGD具有局部有界更新特性,即参数更新过程受到有效控制,避免了过大或不稳定的更新步长。同时,PUGD能够引导模型收敛至平坦的极小值区域,在该区域模型误差近似保持恒定。这一优势不仅源于梯度归一化机制对驻点的天然规避能力,还得益于其在单位球内对损失函数曲率(sharpness)的主动探测与扫描。经过一系列严谨的实验验证,PUGD在Tiny ImageNet数据集上实现了当前最先进的Top-1分类准确率,并在CIFAR-10和CIFAR-100数据集上取得了具有竞争力的性能表现。相关代码已开源,欢迎访问:https://github.com/hanktseng131415go/PUGD。