잔여 네트워크
잔여 네트워크 "ResNet"은 간단한 네트워크를 기반으로 하며, 바로가기 링크를 삽입하여 해당 잔여 버전으로 변환합니다. 이는 목표에 직접적으로 맞지 않지만 잔차에 맞습니다.
ResNet의 기본 아이디어는 최적화를 더 쉽게 만들기 위해 "바로가기 연결"이라는 개념을 도입하는 것입니다. "바로가기 연결"을 포함하는 다층 네트워크를 잔여 블록(바로가기 연결, 즉 그림 오른쪽의 x에서 ⨁로 이어지는 화살표)이라고 합니다.
원래 모델이 함수 F(x)의 공간에서 매개변수를 찾는다면, 잔차 네트워크는 x + f(x)의 공간에서 매개변수를 찾습니다.
잔여 네트워크의 설계 규칙:
잔여 네트워크 온톨로지에는 두 가지 주요 사항이 있습니다.
- 동일한 피처 맵 규모와 숫자를 갖는 합성 커널
- 피처 맵의 수는 두 배가 되는 반면, 피처 맵의 크기는 절반으로 줄어듭니다.
빠른 링크에는 두 가지 솔루션이 있습니다.
- 차원을 늘리려면 주위에 0을 채우세요.
- 빠른 투사 기능을 사용하세요.
잔여 네트워크의 장점:
- 훈련하기 쉽다
- 선형 심화 네트워크
- 이식이 가능합니다
- 정확도 1000개 레이어에 도달할 수 있습니다
- 그래디언트 소멸 문제는 역방향 업데이트를 통해 해결될 수 있습니다.
잔여 네트워크의 적용:
시각 인식, 이미지 생성, 자연어 처리, 음성 인식, 광고, 사용자 예측