초록
비선형 활성화 함수는 딥 뉴럴 네트워크 아키텍처의 핵심 구성 요소 중 하나이다. 활성화 함수의 선택은 모델의 속도, 성능 및 수렴 성능에 영향을 미칠 수 있다. 현재 가장 널리 사용되는 활성화 함수들은 학습 가능한 파라미터를 가지지 않으며, 학습 과정에서 변화하지 않는다. 본 연구에서는 학습 가능한 파라미터를 갖는 활성화 함수와 그렇지 않은 활성화 함수를 제안한다. 이러한 활성화 함수는 각각 여러 가지 장점과 단점이 존재한다. 우리는 제안한 활성화 함수의 성능을 평가하고, 널리 알려진 ReLU 활성화 함수와의 성능을 비교할 것이다. 우리는 학습 가능한 파라미터를 가진 활성화 함수가 파라미터가 없는 경우보다 더 뛰어난 성능을 발휘할 것으로 기대한다. 왜냐하면 학습 가능한 파라미터를 통해 모델이 각각의 활성화 함수 유형을 스스로 선택할 수 있기 때문이다. 그러나 이러한 성능 향상은 딥 뉴럴 네트워크의 아키텍처와 활성화 함수의 특성에 따라 크게 달라질 수 있다.