초록
엔드투엔드 음성 언어 이해(SLU) 시스템은 전통적인 파이프라인 시스템에 비해 많은 장점을 지니고 있지만, 엔드투엔드 시스템을 훈련하기 위해 도메인 내 음성 데이터를 수집하는 것은 비용이 많이 들고 시간이 오래 걸리는 과정이다. 이로 인해 자연스럽게 제기되는 질문은: 제한된 양의 데이터로 어떻게 엔드투엔드 SLU 시스템을 훈련할 수 있는가이다. 많은 연구자들이 다른 관련 데이터 자원을 활용하는 접근법을 탐색해 왔으며, 일반적으로 고자원 음성 인식 데이터를 기반으로 모델의 일부를 사전 훈련하는 방식을 사용하고 있다. 본 논문에서는 비표준 학습 알고리즘인 Reptile를 활용하여 SLU 모델의 일반화 성능을 향상시키는 방안을 제안한다. Reptile는 원래 모델에 의존하지 않는 메타학습(모델-아게일 메타러닝)을 위한 알고리즘으로 제안되었지만, 본 연구에서는 이를 직접 목표 작업을 학습하는 데 활용할 수 있으며, 전통적인 경사하강법보다 더 우수한 일반화 성능을 달성할 수 있다고 주장한다. 본 연구에서는 Reptile를 엔드투엔드 음성 의도 분류 작업에 적용하였다. 다양한 언어와 도메인을 포함한 네 가지 데이터셋에 대한 실험 결과, Reptile를 단독으로 사용했을 때와 사전 훈련과 병행하여 사용했을 때 모두 의도 예측 정확도가 향상됨을 확인하였다.