초록
의도 탐지(intent-detection)와 슬롯 채우기(slot-filling)는 자연어 이해(NLU)의 두 핵심 과제이다. 본 연구에서는 의도 탐지 및 슬롯 채우기를 위한 새로운 인코더-디코더 구조인 CNN-Transformer 기반의 CTRAN을 제안한다. 인코더에서는 BERT를 사용한 후 여러 개의 합성곱 층을 거치며, 윈도우 기반 특성 시퀀스(window feature sequence)를 활용하여 출력을 재정렬한다. 이후 윈도우 특성 시퀀스 뒤에 스택형 Transformer 인코더를 적용한다. 의도 탐지용 디코더에서는 자기 주의(self-attention)를 활용한 후 선형 계층을 사용한다. 슬롯 채우기용 디코더에서는 출력 태그를 입력 토큰과 정렬하는 데 목적이 있는 영역이 0인 대각 마스크(zero diagonal mask)를 사용하는 정렬형 Transformer 디코더(aligned Transformer decoder)를 도입한다. 제안한 네트워크를 ATIS 및 SNIPS 데이터셋에 적용한 결과, 두 데이터셋 모두에서 기존 최고 성능(SOTA)을 초과하는 성능을 달성하였다. 또한 언어 모델을 단어 임베딩(word embeddings)으로 활용하는 전략을 도입하였으며, 언어 모델을 인코더로 사용하는 경우에 비해 더 우수한 성능을 얻을 수 있음을 실험을 통해 확인하였다.