초록
희박성(sparness)은 다양한 응용 분야에서 특히 신경망에서 학습에 유용한 정규화 기법입니다. 본 논문에서는 희박 활동과 희박 연결성을 사용하여 분류 능력을 강화하는 분류 작업을 위한 모델을 제안합니다. 이를 달성하기 위한 도구는 임의의 벡터에 대해 사전 정의된 희박성을 가진 가장 가까운 벡터를 찾는 희박성 강제 투영 연산자입니다. 이 논문의 이론적 부분에서는 이러한 투영에 대한 포괄적인 이론을 개발합니다. 결론적으로, 이 투영 연산자는 거의 모든 곳에서 미분 가능하며 따라서 부드러운 뉴로날 전달 함수로 구현될 수 있음을 보여줍니다. 따라서 전체 모델은 경사 기반 방법을 사용하여 엔드투엔드로 조정될 수 있습니다. MNIST 손글씨 숫자 데이터베이스에서 수행된 실험 결과, 희박 활동 또는 희박 연결성이 분류 성능을 개선할 수 있음을 확인하였습니다. 두 가지를 모두 결합하면 고전적인 비희박 접근 방식보다 성능이 크게 우수해질 수 있었습니다.