깊은 신경망은 시각 인식 및 언어 이해 관련 작업에 있어 널리 사용되고 있습니다. 그러나 일반적인 신경망을 스마트폰이나 스마트워치와 같은 기기에 적용하는 것은 종종 제한적입니다. 이는 모델 크기가 매우 커서 이러한 기기의 제한된 메모리에 맞지 않기 때문입니다. 이러한 기기는 고성능 데이터 센터의 CPU나 GPU에서 실행되는 머신 러닝 모델을 활용할 수 있지만, 많은 응용 분야에서는 이를 실현하기 어렵습니다. 이유는 데이터가 개인 정보를 포함할 수 있고 추론이 직접 '기기 내'에서 수행되어야 하기 때문입니다.우리는 공동 최적화 프레임워크를 사용하여 컴팩트한 신경망을 훈련시키는 새로운 아키텍처를 소개합니다. 이 아키텍처의 핵심에는 두 가지 다른 유형의 네트워크--완전한 트레이너 신경망(피드포워드 NN 또는 LSTM RNN과 같은 기존 아키텍처를 사용)과 간단한 '투영(projection)' 네트워크--를 함께 훈련시키는 혁신적인 목적함수가 위치해 있습니다. 간단한 네트워크는 랜덤 투영(random projections)을 활용하여 입력이나 중간 표현을 비트로 변환하며, 메모리 용량이 적고 효율적으로 계산될 수 있는 가벼운 연산을 비트 공간에서 인코딩합니다. 두 개의 네트워크는 역전파(backpropagation)를 통해 공동으로 훈련되며, 투영 네트워크는 마치 사제 관계(apprenticeship learning)에서처럼 완전한 네트워크로부터 학습합니다. 훈련이 완료되면, 작은 네트워크는 낮은 메모리와 계산 비용으로 직접 추론에 사용될 수 있습니다.우리는 이 새로운 접근법이 다양한 유형의 신경망의 메모리 요구사항을 크게 줄이면서도 시각 인식 및 텍스트 분류 작업에서 좋은 정확성을 유지하는 효과를 보여줍니다. 또한, 새로운 프레임워크를 사용하여 "주어진 작업을 해결하기 위해 몇 개의 신경 비트(neural bits)가 필요한가?"라는 질문을 연구하고, 여러 데이터셋에서 모델 예측 능력(비트 단위)과 정확성 사이의 경험적 결과를 대조하여 보여줍니다.