잔차 매핑

잔차 사상은 잔차 네트워크가 구축되는 데 기반이 되는 해당 관계입니다. 일반적인 형태는 H(x) = F(x) + x이며, 여기서 F(x)는 잔차 함수입니다.

관련 정의

수리통계학에서 잔차는 실제 관측값과 적합값의 차이를 나타내며, 모델에 대한 중요한 정보를 담고 있습니다.

레이어 간에 학습해야 하는 은닉 매핑이 H(x)이고, 잔차 매핑이 F(x) = H(x) – x라고 가정합니다. 그러면 원래 학습해야 할 매핑 H(x)는 잔차 함수 F(x) + x입니다. 즉, 잔차는 다음과 같이 정의됩니다. 잔차 = 출력 - 입력.

잔차 매핑 및 네트워크

잔여 매핑은 단순히 네트워크를 쌓는 것이 아니라, 출력과 입력 사이에 단축 연결을 도입하는, 즉 항등 매핑을 추가하여 달성됩니다.

학습하고자 하는 원래 함수 H(x)를 F(x) + x로 변환합니다. 이는 네트워크에서 그래디언트가 사라지는 문제를 해결할 뿐만 아니라 네트워크를 매우 깊게 만들어 잔여 네트워크 ResNet을 구성합니다.