초록
의도 분류와 슬롯 채우기는 자연어 이해를 위한 두 가지 필수적인 작업입니다. 이들 작업은 종종 규모가 작은 인공 라벨링된 훈련 데이터로 인해 일반화 능력이 부족하여, 특히 드문 단어에 대해 더욱 그렇습니다. 최근에 등장한 새로운 언어 표현 모델인 BERT (Bidirectional Encoder Representations from Transformers)는 대규모 비라벨 코퍼스에서 깊은 양방향 표현을 사전 학습하는 것을 용이하게 하였으며, 간단한 미세 조정 후 다양한 자연어 처리 작업에 대한 최신 모델을 생성하였습니다. 그러나 BERT를 자연어 이해에 활용하는 연구는 아직 많이 이루어지지 않았습니다. 본 연구에서는 BERT 기반의 공동 의도 분류 및 슬롯 채우기 모델을 제안합니다. 실험 결과, 제안된 모델은 주의력 기반 순환 신경망 모델과 슬롯 게이트 모델에 비해 여러 공개 벤치마크 데이터셋에서 의도 분류 정확도, 슬롯 채우기 F1 점수, 문장 수준 의미 프레임 정확도에서 상당한 개선을 보였습니다.