2달 전

확률적 부분 샘플링과 평균 풀링

Kim, Bum Jun ; Kim, Sang Woo
확률적 부분 샘플링과 평균 풀링
초록

깊은 신경망의 정규화는 과적합 문제 없이 더 높은 일반화 성능을 달성하기 위한 중요한 주제입니다. 일반적으로 사용되는 Dropout 방법은 정규화 효과를 제공하지만, 출력에서 일관되지 않은 특성을 초래하여 깊은 신경망의 성능을 저하시킬 수 있습니다. 본 연구에서는 Dropout과 유사한 확률성을 풀링에 통합하는 새로운 모듈인 확률적 평균 풀링(stochastic average pooling)을 제안합니다. 우리는 확률적 샘플링과 평균 풀링의 특성을 설명하고 이를 활용하여 일관성 문제 없이 모듈을 설계하였습니다. 확률적 평균 풀링은 일관성 문제로 인한 잠재적인 성능 저하 없이 정규화 효과를 달성할 수 있으며, 기존의 깊은 신경망 구조에 쉽게 적용할 수 있습니다. 실험 결과, 기존의 평균 풀링을 확률적 평균 풀링으로 대체하면 다양한 작업, 데이터셋, 및 모델에서 일관된 개선 효과가 나타났습니다.

확률적 부분 샘플링과 평균 풀링 | 최신 연구 논문 | HyperAI초신경