정규화
정규화문제를 해결하거나 과잉적합을 방지하기 위해 추가 정보를 도입하는 과정입니다. 이는 수학, 통계학, 컴퓨터 과학, 특히 머신 러닝과 역문제에서 흔히 사용되는 방법입니다.
일반적인 정규화 방법
- L2 정규화: 모든 매개변수 w의 제곱의 합을 훈련 세트의 표본 크기 n으로 나눈 값입니다. λ는 정규화 항 계수로, 정규화 항과 C0 항의 비율을 가늠하는 데 사용됩니다. 또한 계수 1/2이 있습니다. 정규화 항목을 추가하는 목적은 매개변수 제곱의 합을 줄이는 것입니다. 머신 러닝에서 가장 일반적으로 사용되는 정규화 방법은 가중치에 L2 규범 제약을 부과하는 것입니다.
- L1 정규화: 모든 가중치 w의 절댓값의 합에 λ/n을 곱합니다. L1 정규화는 매개변수의 절대값을 줄이기 위해 목적 함수에 정규화 항을 추가하며, 종종 특징 선택에 사용됩니다.
- 드롭아웃: L1 및 L2 정규화는 비용 함수를 수정하여 달성되는 반면, 드롭아웃은 신경망 자체를 수정하여 달성됩니다. 신경망을 훈련할 때 사용되는 기술입니다.
- Drop Connect: Dropout의 일반화로, 알고리즘의 과적합을 줄이기 위한 또 다른 정규화 전략입니다. Drop Connect는 일반적으로 네트워크 아키텍처 가중치의 무작위로 선택된 하위 집합을 0으로 설정합니다.
- 조기 중단: 비용 함수를 최소화하기 위해 모델에 필요한 학습 반복 횟수를 제한하는 것으로, 학습 중에 과도하게 표현된 모델이 일반화 성능이 떨어지는 것을 방지하는 데 자주 사용됩니다.