CAE: SLU 슬롯 채우기 작업에서 클래스 불균형을 감소시키는 메커니즘

말하기 언어 이해(Spoken Language Understanding, SLU) 작업은 자연어 처리 분야에서 널리 응용되는 과제이다. 사전 훈련된 BERT 모델의 성공에 힘입어, 자연어 이해(NLU)는 의도 분류(Intent Classification)와 슬롯 채우기(Slot Filling) 과제를 통해 크게 성능 향상을 이뤘다. 그러나 NLU 분야에서 클래스 불균형(class imbalance) 문제는 충분히 탐구되지 않았으며, 이는 의미 분석(Semantic Parsing) 데이터셋에서 흔히 발생하는 문제이다. 따라서 본 연구는 이러한 문제를 완화하는 데 초점을 맞추었다. 우리는 BERT 기반의 아키텍처인 JointBERT Classify Anonymous Entity(JointBERT-CAE)를 제안하였으며, 이는 ATIS, Snips, ATIS 베트남어 버전, 그리고 유명한 명명된 엔티티 인식(Named Entity Recognition, NER) 데이터셋인 CoNLL2003을 포함한 세 가지 의미 분석 데이터셋에서 시스템 성능을 향상시켰다. JointBERT-CAE 아키텍처에서는 전통적인 슬롯 채우기 과제를 두 가지 하위 과제로 분리하기 위해 다중 작업 공동 학습(multitask joint-learning) 기법을 활용한다. 구체적으로, 시퀀스 태깅을 통해 익명 엔티티(Anonymous Entity)를 탐지하고, 탐지된 익명 엔티티를 분류하는 작업으로 나누어 처리한다. 실험 결과, 모든 데이터셋에서 BERT 모델 대비 JointBERT-CAE가 뚜렷한 성능 향상을 보였으며, 시퀀스 태깅 기법을 활용하는 다른 자연어 처리(NLP) 과제도 적용 가능함을 확인하였다.