2달 전

드롭아웃, 배치 정규화, 그리고 스킵 연결을 활용한 MLP의 일반화

Kim, Taewoon
드롭아웃, 배치 정규화, 그리고 스킵 연결을 활용한 MLP의 일반화
초록

다중층 퍼셉트론(Multilayer Perceptron, MLP)은 일반적으로 비선형 활성화 함수를 갖춘 여러 개의 완전 연결 레이어로 구성됩니다. MLP의 성능을 개선하기 위한 다양한 접근 방식(예: 더 빠른 수렴, 더 나은 수렴 한계 등)이 제시되었지만, 이들에 대한 체계적인 테스트 방법이 부족한 상태입니다. 본 연구에서는 연령과 성별 데이터셋을 사용하여 다양한 MLP 아키텍처를 실험으로 검증하였습니다. 경험적 분석을 통해 입력 데이터를 각 선형 레이어 전에 화이트닝 처리하고 스킵 연결을 추가함으로써 제안된 MLP 아키텍처가 더 우수한 성능을 낼 수 있음을 보였습니다. 화이트닝 과정에는 드롭아웃(Dropout)이 포함되어 있어, 베이지안 추론(Bayesian Inference)의 근사치를 구하는 데에도 활용될 수 있습니다. 본 연구에서 사용한 코드는 오픈 소스로 공개되었으며, 모델과 Docker 이미지는 https://github.com/tae898/age-gender/에서 제공됩니다.

드롭아웃, 배치 정규화, 그리고 스킵 연결을 활용한 MLP의 일반화 | 최신 연구 논문 | HyperAI초신경