보편 근사 이론

범용 근사 이론(UAT)은 신경망 분야의 중요한 이론적 기반입니다. 이는 충분히 복잡한 구조를 가진 신경망이 임의의 정확도로 모든 연속 함수를 근사할 수 있음을 보여줍니다. 이 이론은 1989년 George Cybenko에 의해 처음 제안되었으며 관련 논문은 "시그모이드 함수의 중첩에 의한 근사그는 뉴런의 수가 충분하고 시그모이드 함수와 같은 비선형 활성화 함수를 사용하는 한, 단일 은닉층을 갖는 피드포워드 신경망이 모든 연속 함수를 근사할 수 있음을 증명했습니다. 이후, 쿠르트 호르닉은 1991년에 "다층 피드포워드 네트워크의 근사 기능"는 이 이론을 확장하여 활성화 함수가 상수가 아니고, 제한적이며, 단조적으로 증가하고, 연속적이라면 활성화 함수의 선택 폭이 더 넓어질 수 있음을 보여줍니다.