오디오 바로우 트윈스: 자기 지도 오디오 표현 학습

Barlow Twins의 자기 지도 학습 목표는 부정 샘플이나 비대칭 학습 업데이트를 요구하지 않으며, 컴퓨터 비전 분야에서 현재 최신 기술과 맞먹는 결과를 달성합니다. 이에 따라, 우리는 오디오 Barlow Twins를 제시합니다. 이는 Barlow Twins을 음향 영역으로 확장한 새로운 자기 지도 오디오 표현 학습 접근 방식입니다. 우리는 대규모 오디오 데이터셋인 AudioSet에서 사전 학습을 수행하고, HEAR 2021 챌린지의 18개 작업을 통해 학습된 표현의 품질을 평가하였습니다. 그 결과, 인스턴스 구분을 위한 자기 지도 오디오 표현 학습 방법론에서 현재 최신 기술을 능가하거나 최소한 동등한 성능을 보였습니다. 코드는 https://github.com/jonahanton/SSL_audio에서 확인할 수 있습니다.