자원 제한 시스템에서 대화 상태 추적을 위한 간단하면서도 효과적인 BERT 모델

목표 지향 대화 시스템에서 대화 상태 추적(Dialog State Tracking, DST)의 목적은 대화 기록을 바탕으로 대화의 상태를 모니터링하는 것이다. 최근 들어 DST를 위한 많은 딥러닝 기반의 방법들이 제안되어 왔다. 비록 이러한 방법들이 놀라운 성능을 보이고 있지만, 현재의 신경망 아키텍처들은 일반적으로 복잡한 설계와 개념적 복잡성을 지니고 있어, 실제 운영 환경에서 구현하고 디버깅하며 유지보수하는 데 어려움이 있다. 본 연구에서는 BERT 기반의 간단하면서도 효과적인 DST 모델을 제안한다. 본 방법은 단순성 외에도 다음과 같은 여러 장점이 있다: (a) 온톨로지 크기와 무관하게 모델 파라미터 수가 증가하지 않는다; (b) 도메인 온톨로지가 동적으로 변경되는 상황에서도 작동할 수 있다. 실험 결과, 제안하는 BERT 기반 모델이 이전 방법들에 비해 크게 우수한 성능을 보이며, 표준 WoZ 2.0 데이터셋에서 새로운 최고 성능(SOTA)을 달성하였다. 마지막으로, 자원 제한 시스템에 적합하도록 모델을 작고 빠르게 만들기 위해 지식 증류(Knowledge Distillation) 기법을 적용하였다. 최종적으로 압축된 모델은 원래 모델과 비슷한 성능을 유지하면서 크기는 8배 작고 속도는 7배 빠르다.