15일 전

콤팩트 서포트 신경망

Adrian Barbu, Hongyu Mou
콤팩트 서포트 신경망
초록

신경망은 다양한 분야에서 널리 활용되며 유용하지만, 학습 데이터에서 벗어난 예시에 대해 과도하게 높은 신뢰도를 갖는다는 문제가 있다. 이는 신경망이 잘못된 예측을 내릴 때에도 매우 확신하는 결과를 초래하며, 자율주행이나 우주 탐사와 같은 안전이 핵심적인 응용 분야에서 신뢰성을 제한한다. 본 논문은 형태 매개변수(shape parameter)의 두 극단적인 경우로 표준 내적 기반 신경망과 {\color{black} 반경 기저 함수(RBF)} 신경망을 포함하는 새로운 신경원(neuron generalization)을 제안한다. 활성화 함수로 정류된 선형 단위(ReLU)를 사용하면, 출력이 유계 영역 외부에서는 항상 0인 컴팩트 서포트(compact support)를 가지는 새로운 신경망을 얻을 수 있다. 제안된 신경망의 학습 어려움을 해결하기 위해, 사전 학습된 표준 신경망을 초기화로 사용하고, 점진적으로 형태 매개변수를 원하는 값까지 증가시키며 미세 조정(fine-tuning)하는 새로운 학습 방법을 도입한다. 이 논문의 이론적 결과로는 제안된 신경망의 기울기에 대한 경계를 도출하고, 이러한 신경망을 갖는 네트워크가 보편적 근사성(universal approximation property)을 갖는다는 증명을 제시한다. 즉, 임의의 연속적이고 적분 가능한 함수를 임의의 정밀도로 근사할 수 있음을 의미한다. 표준 벤치마크 데이터셋을 활용한 실험 결과, 제안된 방법은 최첨단 경쟁 기법보다 더 낮은 테스트 오차를 보이며, 세 가지 데이터셋 중 두 개에서 분포 외(out-of-distribution) 샘플 탐지 성능에서 경쟁 기법을 능가함을 확인하였다.

콤팩트 서포트 신경망 | 최신 연구 논문 | HyperAI초신경