초록
최근 주의 기반 인코더-디코더 신경망 모델이 기계 번역과 음성 인식 분야에서 유망한 결과를 보여주고 있습니다. 본 연구에서는 이러한 모델을 음성 이해 및 대화 시스템에서 중요한 단계인 의도 검출과 슬롯 채움에 적용하기 위해 주의 기반 신경망 모델을 제안합니다. 기계 번역과 음성 인식과는 달리, 슬롯 채움에서는 정렬(Alignment)이 명시적입니다. 우리는 이 정렬 정보를 인코더-디코더 프레임워크에 통합하는 다양한 전략을 탐구하였습니다. 인코더-디코더 모델의 주의 메커니즘에서 얻은 교훈을 바탕으로, 우리는 정렬 기반 RNN 모델에 주의를 도입하는 것을 추가로 제안합니다. 이러한 주의 메커니즘은 의도 분류와 슬롯 라벨 예측에 추가적인 정보를 제공합니다. 우리의 독립적인 작업 모델들은 벤치마크 ATIS 작업에서 최신 수준의 의도 검출 오류율과 슬롯 채움 F1 점수를 달성하였습니다. 또한, 우리의 공동 학습 모델은 독립적인 작업 모델들보다 의도 검출에서 0.56% 절대 (23.8% 상대) 오류 감소와 슬롯 채움에서 0.23% 절대 향상을 얻었습니다.