17일 전
유닛 공간 내에서의 변형된 기울기 업데이트를 통한 딥러닝
Ching-Hsun. Tseng, Liu-Hsueh. Cheng, Shin-Jye. Lee, Xiaojun Zeng

초록
딥러닝에서 최적화는 핵심적인 역할을 한다. 본 연구는 이미지 분류를 중심으로 널리 사용되는 최적화 알고리즘들의 장단점을 분석하고, 펄터베이션(perturbation) 내에서 텐서 내 정규화된 기울기 연산을 확장하여 단위 공간(unit space)에서 업데이트를 수행하는 새로운 최적화 알고리즘인 Perturbated Unit Gradient Descent(PUGD)를 제안한다. 일련의 실험과 분석을 통해 PUGD가 국소적으로 경계가 있는 업데이트를 수행함을 보여주며, 이는 시간이 지남에 따라 업데이트가 제어된다는 의미이다. 반면 PUGD는 모델이 낮은 곡률의 최소점(평탄한 최소점, flat minimum)으로 수렴하도록 유도하는데, 이는 기울기 정규화가 정지점(stationary points)을 피하는 본질적 특성뿐만 아니라 단위 구 내에서 곡률의 날카로움을 탐색함으로써 가능하다. 엄밀한 실험을 통해 PUGD는 Tiny ImageNet에서 최신 기준의 Top-1 정확도를 달성하며, CIFAR-{10, 100}에서도 경쟁력 있는 성능을 보임을 입증하였다. 본 연구의 코드는 오픈소스로 공개되었으며, 링크는 다음과 같다: https://github.com/hanktseng131415go/PUGD.