인체 포즈 추정 및 이미지 인식을 위한 이진 네트워크의 향상된 학습 방법

대규모 데이터셋에서 훈련된 큰 신경망은 다양한 어려운 문제에 대한 최신 기술을 크게 발전시켰으며, 성능을 크게 향상시켰습니다. 그러나 메모리가 부족하고 계산 능력이 제한적인 환경에서는 같은 문제에 대한 정확도가 크게 떨어집니다. 본 논문에서는 특징과 가중치 모두 이진화된 신경망(이진화 신경망)의 정확도를 크게 향상시키는 일련의 기법을 제안합니다. 우리는 제안된 개선 사항을 두 가지 다양한 작업인 세부 인식(인체 자세 추정) 및 대규모 이미지 인식(ImageNet 분류)에서 평가하였습니다. 구체적으로, (a) 더 적합한 활성화 함수, (b) 역순 초기화, (c) 단계적 양자화, (d) 네트워크 스태킹 등 새로운 방법론적 변경 사항을 도입하여 이러한 추가 요소들이 기존의 최신 네트워크 이진화 기법을 크게 개선함을 보여줍니다. 또한, 처음으로 네트워크 이진화와 지식 증류(Knowledge Distillation)를 결합할 수 있는 범위를 조사하였습니다. 어려운 MPII 데이터셋에서 테스트한 결과, 우리의 방법은 절대적으로 4% 이상의 성능 향상을 보였습니다. 마지막으로, 제안된 기법들을 ImageNet 데이터셋에서의 대규모 객체 인식에 적용하여 그 유효성을 추가로 검증하였으며, 오류율이 4% 감소함을 보고합니다.