17일 전

vq-wav2vec: 이산 음성 표현의 자기지도 학습

Alexei Baevski, Steffen Schneider, Michael Auli
vq-wav2vec: 이산 음성 표현의 자기지도 학습
초록

우리는 wav2vec 방식의 자기지도 학습적 문맥 예측 작업을 통해 음성 세그먼트의 이산적 표현을 학습하는 vq-wav2vec을 제안한다. 이 알고리즘은 밀도 높은 표현을 양자화하기 위해 Gumbel-Softmax 또는 온라인 k-means 클러스터링을 사용한다. 이산화는 자연어 처리(NLP) 분야에서 이산 입력을 필요로 하는 알고리즘들을 직접 적용할 수 있게 한다. 실험 결과, BERT 사전 학습이 TIMIT 음소 분류와 WSJ 음성 인식에서 새로운 최고 성능을 달성하였다.

vq-wav2vec: 이산 음성 표현의 자기지도 학습 | 최신 연구 논문 | HyperAI초신경