초록
컨벌루션 신경망은 최근의 여러 발전 덕분에 객체 인식에서 우수한 성능을 보입니다: 렐루(ReLU), 데이터 증강, 드롭아웃, 그리고 대규모 라벨링된 데이터셋이 그 예입니다. 비지도 학습 데이터는 성능 향상을 위한 또 다른 방법으로 제안되었습니다. 그러나 안타깝게도, 최신 방법론에서는 비지도 사전 학습이 사용되지 않아 다음과 같은 질문이 제기됩니다: 최근의 발전에도 불구하고 비지도 사전 학습은 여전히 유용한가? 그렇다면 언제인가? 우리는 이 질문을 세 부분으로 나누어 답합니다: 1) 렐루와 최근의 비지도 정규화 기법을 통합하는 비지도 방법론을 개발하고, 2) CIFAR-10에서 비지도 사전 학습이 데이터 증강과 드롭아웃에 비해 어떤 이점을 가지는지, 그리고 비지도 샘플과 지도 샘플의 비율을 변경하면서 분석하며, 3) STL-10에서 우리의 결과를 검증합니다. 우리는 예상대로, 비지도 샘플과 지도 샘플의 비율이 높을 때 비지도 사전 학습이 도움이 되며, 의외로 이 비율이 낮을 때는 해가 된다는 것을 발견했습니다. 또한 추가적인 컬러 증강과 함께 비지도 사전 학습을 사용하여 STL-10에서 거의 최신 수준의 성능을 달성하였습니다.