16일 전

기반 Transformer의 임계값 불필요 프레임워크를 활용한 다중 의도 NLU

{Xinzhong Sun, Yong Wang, Yuexian Zou, Nuo Chen, Lisung Chen}
기반 Transformer의 임계값 불필요 프레임워크를 활용한 다중 의도 NLU
초록

최근 다중 의도 자연어 이해(NLU)에 대한 관심이 증가하고 있다. 이는 한 문장 내에서 여러 개의 의도를 탐지함으로써 실제 환경에 더 적합한 접근을 제공한다. 그러나 현재 최고 성능을 기록하는 공동 NLU 모델들은 주로 임계값 기반 전략을 활용하여 다중 의도를 탐지하고 있어, 하나의 주요 문제를 야기한다. 즉, 모델이 임계값 설정에 매우 민감하다는 점이다. 본 논문에서는 다중 작업 학습(MTL)을 기반으로 한 트랜스포머 기반의 임계값 불필요 다중 의도 NLU 모델(TFMN)을 제안한다. 구체적으로, 먼저 트랜스포머 기반 인코더의 여러 층을 활용하여 다중 해상도 표현을 생성한다. 그 후, 추가적인 수동 레이블링 없이 각 문장 내 다중 의도의 수에 대한 정보를 활용하고, 보조 탐지 작업인 의도 수 탐지(IND)를 제안한다. 더불어, IND 작업의 출력을 활용하여 임계값에 의존하지 않고 다중 의도를 탐지할 수 있는 임계값 불필요 의도 다중 의도 분류기를 제안한다. 광범위한 실험을 통해 제안된 모델이 두 개의 공개 다중 의도 데이터셋에서 우수한 성능을 달성함을 입증하였다.

기반 Transformer의 임계값 불필요 프레임워크를 활용한 다중 의도 NLU | 최신 연구 논문 | HyperAI초신경