중도 탈락

Dropout은 Geoffrey Hinton과 그의 팀이 2012년에 제안한 신경망 학습에 사용되는 정규화 기술입니다. 관련 논문 결과는 다음과 같습니다.특징 감지기의 공동 적응을 방지하여 신경망 개선또한, Hinton et al. 2012년에 제목의 논문을 발표했습니다.딥 컨볼루션 신경망을 이용한 ImageNet 분류드롭아웃 알고리즘은 또한 "에 사용되었으며, 이는 딥러닝 분야에 큰 영향을 미쳤습니다.

Dropout의 핵심 아이디어는 모델이 과적합되는 것을 방지하기 위해 학습 과정에서 네트워크의 일부 뉴런과 해당 연결을 무작위로 삭제(일시적으로 제거)하는 것입니다. 이런 방식으로 Dropout은 네트워크의 각 뉴런이 다른 특정 뉴런과 독립적이 되도록 강제하여 모델의 일반화 능력을 향상시킵니다.

Dropout의 핵심 구현은 각 학습 반복에서 각 뉴런이 특정 확률(일반적으로 하이퍼파라미터)로 0으로 설정되므로 여러 개의 서로 다른 네트워크 구조를 무작위로 만들 수 있다는 것입니다. 테스트 시점에는 모든 뉴런이 활성화되지만, 훈련 중에 유지될 확률에 따라 가중치가 조정됩니다. 이러한 접근 방식은 학습 과정에서 여러 가지 다른 네트워크 모델의 평균을 구하고, 테스트 과정에서는 이 평균화된 모델의 근사 버전을 사용하는 것으로 생각할 수 있습니다.

이 알고리즘이 처음 제안되었을 당시에는 주로 피드포워드 신경망에 적용되었지만, 이후 연구를 통해 응용 범위가 확대되어 합성곱 신경망(CNN)과 순환 신경망(RNN)에도 적용되었습니다. 드롭아웃 기술은 시각 인식, 음성 인식, 문서 분류, 계산 생물학을 포함한 다양한 작업에 효과적인 것으로 나타났으며, 많은 벤치마크 데이터 세트에서 최첨단 결과를 달성했습니다.