회귀를 위한 부드러운 적응형 활성화 함수를 갖춘 ConvNets

신경망(NN) 내에서 적응형 활성화 함수(Adaptive Activation Functions, AAF)의 파라미터는 활성화 함수의 형태를 제어한다. 이러한 파라미터는 신경망 내 다른 파라미터들과 함께 학습된다. 기존 연구에서 AAF는 다중 분류 작업에서 합성곱 신경망(CNN)의 성능을 향상시킨 바 있다. 본 논문에서는 AAF를 회귀 작업을 위한 CNN에 제안하고 적용한다. 우리는 신경망의 회귀(마지막에서 두 번째) 층에 AAF를 적용할 경우, 회귀용 신경망의 편향(bias)을 상당히 감소시킬 수 있다고 주장한다. 그러나 기존의 AAF를 사용할 경우 과적합(overfitting)이 발생할 수 있다. 이를 해결하기 위해, 주어진 유한한 모델 파라미터에 대해 유한한 리프시츠(Lipschitz) 상수를 가지면서 임의의 연속 함수를 임의의 정밀도로 근사할 수 있는 조각 다항식 형태의 부드러운 적응형 활성화 함수(Smooth Adaptive Activation Function, SAAF)를 제안한다. 그 결과, SAAF를 갖는 신경망은 모델 파라미터를 단순히 정규화하는 것으로 과적합을 피할 수 있다. 실증적으로 SAAF를 갖는 CNN을 평가한 결과, 나이 추정 및 자세 추정 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였다.