초록
음악 분류는 음악 정보 검색 분야에서 가장 인기 있는 작업 중 하나입니다. 딥 러닝 모델의 발전에 따라 지난 10년 동안 다양한 분류 작업에서 놀라운 개선이 이루어졌습니다. 그러나 모델의 복잡성이 증가함에 따라 학습과 추론 모두 계산적으로 비용이 많이 들게 되었습니다. 본 논문에서는 전이 학습과 특징 기반 지식 압축의 아이디어를 통합하여, 사전 학습된 오디오 임베딩을 선생님으로 사용하여 저복잡도 학생 네트워크의 학습을 안내하는 방법을 체계적으로 조사합니다. 사전 학습된 임베딩으로 학생 네트워크의 특징 공간을 규제함으로써 선생님 임베딩에 내재된 지식을 학생들에게 이전할 수 있습니다. 우리는 다양한 사전 학습된 오디오 임베딩을 사용하여 이 방법의 효과성을 음악 악기 분류와 음악 자동 태깅 작업에서 테스트하였습니다. 결과는 우리의 방법이 선생님의 지식 없이 동일한 모델로 학습한 경우보다 성능이 크게 향상됨을 보여주었습니다. 이 기술은 고전적인 지식 압축 접근법과 결합하여 모델의 성능을 더욱 개선할 수도 있습니다.