정류 선형 유닛

선형 보정 장치(ReLU)는 정류 선형 함수라고도 하며, 인공 신경망에서 일반적으로 사용되는 활성화 함수로, 일반적으로 램프 함수와 그 변형으로 표현되는 비선형 함수를 말합니다.

선형 보정 장치의 특징

더 일반적으로 사용되는 ReLU에는 램프 함수 f(x) = max(0, x)와 누설 정류 함수(Leaky ReLU)가 포함되며, 여기서 x는 뉴런의 입력입니다.

선형 정류는 특정한 생물학적 원리를 가지고 있다고 믿어지며, 실제로 일반적으로 사용되는 다른 활성화 함수(예: 로지스틱 함수)보다 더 잘 작동하기 때문에 오늘날 이미지 인식과 같은 컴퓨터 비전 인공 지능 분야의 심층 신경망에서 널리 사용됩니다.

ReLU는 신경망에서 가장 일반적으로 사용되는 활성화 함수입니다. 이는 계단 함수의 생물학적 영감을 유지합니다(뉴런은 입력이 임계값을 초과할 때만 활성화됨). 그러나 입력이 양수일 때 미분은 0이 아니므로 기울기 기반 학습이 가능합니다(다만 x = 0일 때 미분은 정의되지 않음).

이 함수를 사용하면 함수나 그 파생 함수에 복잡한 수학 연산이 필요하지 않으므로 계산이 매우 빠르게 진행됩니다. 그러나 입력이 음수인 경우 ReLU의 학습 속도가 매우 느려지거나 뉴런이 직접 무효화될 수도 있습니다. 입력이 0보다 작고 기울기가 0이기 때문에 가중치를 업데이트할 수 없고 나머지 학습 과정 동안 아무런 동작도 하지 않기 때문입니다.

관련 단어: 활성화 함수

하위 단어: 경사 한국어, 누설 정류기 기능

참고문헌:

【1】https://zh.wikipedia.org/wiki/선형 정류 기능

【2】https://www.jiqizhixin.com/articles/2017-10-10-3