활성화 함수

활성화 함수 정의

활성화 함수는 신경망의 뉴런에 작용하는 함수로, 뉴런의 입력을 출력으로 매핑하는 역할을 합니다.

이를 통해 신경망 모델은 비선형 미분 능력을 가질 수 있습니다.어느비선형 함수를 근사화합니다. 이를 통해 신경망 모델을 광범위한 비선형 모델에 적용할 수 있습니다.

이것의 존재로 인해 신경망 모델은 비선형 함수를 구별할 수 있으며, 이를 통해 신경망 모델을 다양한 비선형 모델에 적용할 수 있습니다.

활성화 함수 속성

비선형： 선형 활성화 함수의 경우, 2층 신경망은 거의 모든 함수를 만족시킬 수 있습니다. 하지만 이 조건은 항등 활성화 함수에서는 성립하지 않습니다. MLP가 동일한 활성화 함수를 사용한다면 전체 신경망은 단일 계층 신경망과 동일합니다.

미분가능성: 이는 그래디언트 기반 최적화 방법에서 중요한 역할을 합니다. (미분가능이란 함수가 모든 방향으로 미분가능함을 의미하며, 미분가능이란 미분가능보다 크거나 같음)

단조성： 활성화 함수가 단조 함수인 경우, 단층 네트워크는 볼록 함수로 나타납니다.

f(x)≈x: 활성화 함수가 이 공식을 만족할 때, 초기화 매개변수는 매우 작은 난수값이 되므로 신경망의 학습 효율이 향상됩니다. 하지만 이 공식을 만족하지 못하는 경우에는 초기값을 구체적으로 설정할 필요가 있습니다.

출력 값 범위: 활성화 함수의 출력 값이 유한한 경우, 그래디언트 기반 최적화 방법이 더 안정적입니다. 활성화 함수의 출력 값이 무한대일 때, 모델 학습이 더 효율적입니다.

일반적인 활성화 함수

• 시그모이드
• 탄
• 렐루
• 맥스아웃
• 엘루

측정 방법

일반적으로 어떤 활성화 함수를 사용할지 측정하기 위해 다음과 같은 실험적 방법이 있습니다.

1. 기울기를 효과적으로 전파할 수 있나요?
2. 평균은 0인가요?
3. 계산 비용이 높은가요?

신경망에서 활성화 함수는 뉴런이 활성화되었는지, 정보가 가치 있는지, 아니면 삭제해야 할지 여부를 결정할 수 있습니다.