초록
스텝 함수는 딥 뉴럴 네트워크(DNNs)에서 가장 간단하고 자연스러운 활성화 함수 중 하나입니다. 양수 변수에 대해 1을, 그 외의 변수에 대해 0을 할당하기 때문에, 스텝 함수의 본질적인 특성(예: 불연속성 및 하위 기울기 정보의 부재)은 몇십 년 동안 그 발전을 저해해왔습니다. 연속적인 활성화 함수를 설계하여 스텝 함수의 대체품으로 사용하는 연구가 인상적임에도 불구하고, 스텝 함수는 여전히 외래값에 대한 완벽한 강건성과 최고의 예측 정확도 보장 능력을 갖추는 등 몇 가지 유리한 특성을 가지고 있습니다. 따라서 이 논문에서는 스텝 함수를 활성화 함수로 사용하는 DNNs(이하 0/1 DNNs라고 칭함)를 훈련시키는 것을 목표로 합니다. 먼저, 0/1 DNNs를 제약 조건이 없는 최적화 문제로 재구성하고, 이를 블록 좌표 하강법(BCD 방법)으로 해결합니다. 또한, BCD 방법의 부분 문제들에 대한 폐형 해와 수렴 특성을 획득하였습니다. 더불어 $\ell_{2,0}$-정규화를 0/1 DNN에 통합하여 훈련 과정을 가속화하고 네트워크 규모를 압축하였습니다. 결과적으로 제안된 알고리즘은 MNIST와 Fashion-MNIST 데이터셋 분류에서 높은 성능을 보였으며, MNIST, Fashion-MNIST, Cifar10, Cifar100 데이터셋 분류에서도 우수한 성능을 나타냈습니다.