다양한 자기지도 작업을 통해 문제와 무관한 음성 표현 학습

감독 없이 좋은 표현을 학습하는 것은 여전히 기계학습에서 해결되지 않은 문제이며, 특히 복잡한 계층적 구조를 가진 긴 시퀀스로 특징지어지는 음성 신호에 대해서는 더욱 어려운 과제입니다. 그러나 최근의 일부 연구에서는 자기 지도 인코더-디스크리미네이터 접근법을 사용하여 유용한 음성 표현을 도출할 수 있음을 보여주었습니다. 본 논문은 이러한 접근법을 개선한 자기 지도 방법을 제안합니다. 여기서 단일 신경망 인코더가 여러 작업자에 의해 따르며, 이들은 공동으로 다양한 자기 지도 과제를 해결합니다. 서로 다른 과제 간의 필요한 합의는 자연스럽게 인코더에 의미 있는 제약을 부과하여 일반적인 표현을 발견하고 표면적인 표현을 학습할 위험을 최소화하는 데 기여합니다. 실험 결과, 제안된 접근법이 음성 신호에서 관련 정보인 화자 식별, 음소, 심지어 감정적 힌트와 같은 고차원적 특징까지 전달 가능한 이식성, 강건성 및 문제 무관성을 갖춘 특징들을 학습할 수 있음을 보여줍니다. 또한 여러 설계 선택사항은 인코더를 쉽게 내보낼 수 있게 하여 다른 문제에 대한 직접적인 사용이나 적응을 용이하게 합니다.