정류 선형 유닛
선형 보정 장치 ReLU는 인공 신경망에서 일반적으로 사용되는 활성화 함수로, 선형 정류 함수라고도 하며, 일반적으로 램프 함수와 그 변형으로 표현되는 비선형 함수를 의미합니다.
선형 보정 장치의 특징
일반적으로 사용되는 선형 정류 장치에는 램프 함수 f(x) = max(0, x)와 누설 정류 함수 Leaky ReLU가 포함되며, 여기서 x는 뉴런의 입력을 나타냅니다.
선형 정류에는 특정한 생물학적 원리가 있다고 믿어진다. 실제로 일반적으로 사용되는 다른 활성화 함수보다 더 잘 작동하므로 이미지 인식과 같은 컴퓨터 비전 분야를 포함하여 딥 신경망에서 널리 사용됩니다.
신경망에서 일반적으로 사용되는 활성화 함수인 ReLU는 Step 함수의 생물학적 영감을 그대로 담고 있습니다. 입력이 양수이면 미분값이 0이 아니므로 기울기 기반 학습이 가능합니다. 입력이 음수인 경우 ReLU의 학습 속도가 느려지거나 뉴런이 직접적으로 실패할 수도 있습니다. 이는 입력이 0보다 작고 기울기가 0이기 때문이며, 이로 인해 가중치가 업데이트되지 않고 나머지 학습 과정 동안 아무런 반응이 나타나지 않기 때문입니다.