프레임 레벨 기준을 기반으로 한 경량 변환기

시퀀스 수준 기준에 기반하여 훈련된 변환기 모델은 큰 확률 행렬을 생성하기 때문에 많은 메모리를 필요로 합니다. 우리는 프레임 수준 기준에 기반한 경량 변환기 모델을 제안하였습니다. 이 모델은 CTC 강제 정렬 알고리즘의 결과를 사용하여 각 프레임의 라벨을 결정합니다. 그런 다음 인코더 출력이 디코더 출력과 해당 시간에 결합될 수 있으며, 시퀀스 변환기에서와 같이 인코더가 출력하는 각 요소를 디코더가 출력하는 각 요소에 추가하지 않습니다. 이는 메모리와 계산 요구 사항을 크게 줄입니다. 라벨에 과도한 공백으로 인해 발생하는 불균형 분류 문제를 해결하기 위해, 우리는 공백과 비공백 확률을 분리하고 공백 분류기의 그래디언트를 주 네트워크로 잘라내었습니다. AISHELL-1 데이터셋에서 수행된 실험은 이러한 방법이 경량 변환기가 시퀀스 변환기와 유사한 결과를 달성할 수 있음을 보여줍니다. 또한, 우리는 더 풍부한 정보를 사용하여 공백의 확률을 예측함으로써 시퀀스 변환기에 우월한 결과를 얻었습니다.