희소 오토인코더

희소 오토인코더(SAE)는 오토인코더의 출력과 원래 입력 간의 오차를 계산하고 오토인코더의 매개변수를 지속적으로 조정하여 모델을 학습하는 비지도 머신 러닝 알고리즘입니다. 자동 인코더는 입력 정보를 압축하고 유용한 입력 기능을 추출하는 데 사용할 수 있습니다.

오토인코더는 원래 차원 축소라는 아이디어를 기반으로 제안되었습니다. 그러나 숨겨진 노드의 수가 입력 노드의 수보다 많으면 자동 인코더는 샘플 특징을 자동으로 학습하는 기능을 잃습니다. 이때, 숨겨진 노드에 특정한 제약조건을 부과하는 것이 필요하다. 잡음 제거 자동 인코더의 시작점과 유사하게, 고차원 및 희소 표현이 좋습니다. 따라서 은닉 노드에 일부 희소성 한계를 부과하는 것이 제안됩니다. 희소 자동 인코더는 기존 자동 인코더에 일부 희소성 제약 조건을 추가하여 얻습니다. 이러한 희소성은 자동 인코더의 은닉층 뉴런에 대한 것입니다. 은닉층 뉴런의 출력을 대부분 억제함으로써 네트워크는 희소 효과를 얻습니다.