초록
신경망의 분류를 위한 지도 학습은 일반적으로 전역 손실 함수(global loss function)를 사용하여 수행됩니다. 손실 함수는 출력층에 대한 기울기를 제공하고, 이 기울기는 은닉층(hidden layers)으로 역전파되어 가중치(weight) 업데이트 방향을 결정합니다. 다른 접근 방식으로는 층별 손실 함수(layer-wise loss functions)를 사용하여 네트워크를 학습하는 방법이 있습니다. 본 논문에서는 처음으로, 층별 학습이 다양한 이미지 데이터셋에서 최신 기술(state-of-the-art)에 근접할 수 있음을 입증합니다. 우리는 단일층 서브네트워크(single-layer sub-networks)와 두 가지 다른 지도 손실 함수(supervised loss functions)를 사용하여 은닉층에 대한 국부적 오차 신호(local error signals)를 생성하고, 이러한 손실들의 조합이 국부적 학습(context of local learning) 환경에서 최적화에 도움을 준다는 것을 보여줍니다. 국부적 오차를 사용하는 것은 전역 오차가 은닉층으로 역전파될 필요가 없기 때문에 더 생물학적으로 타당한(deep learning) 심층 학습으로 나아가는 한 걸음일 수 있습니다. 완전히 역전파 없는 변형은 더 높은 생물학적 타당성을 목표로 하는 방법들 중에서 이전에 보고된 결과들을 능가합니다. 코드는 https://github.com/anokland/local-loss 에서 이용 가능합니다.