18일 전

"내 물건은 어디에 있나요?" 자연어에서 사용자 의도를 빠르고 효율적으로 탐지하기 위한 분류기

{Nikos Konstantinidis, David Wardrope, Amal Vaidya, Fabon Dzogang, Constantina Nicolaou}
"내 물건은 어디에 있나요?" 자연어에서 사용자 의도를 빠르고 효율적으로 탐지하기 위한 분류기
초록

ASOS.com 고객지원 부서에서 가장 많이 접수되는 의도(의도: “내 주문은 어디에 있나요?”)를 예측하기 위해 설계된 고객 의도 분류기의 성능을 연구한다. 이러한 질의는 구어체 표현, 레이블 노이즈, 짧은 메시지 길이 등의 특징을 지닌다. 본 연구에서는 데이터 내 시퀀스 구조를 반영하기 위해 n-그램을 활용한 로지스틱 회귀와, 이러한 시퀀스 패턴을 자동으로 추출하는 순환 신경망(Recurrent Neural Networks, RNN)이라는 두 가지 잘 알려진 분류 모델을 활용해 광범위한 실험을 수행한다. GloVe 좌표를 기반으로 임베딩 레이어를 고정한 상태에서 수행한 맨-위트니 U 검정 결과, 검증 데이터셋에서 RNN 기반 분류기의 F1 스코어는 선형 n-그램 기반 분류기보다 낮게 나타났다(M1=0.828, M2=0.815; U=1,196, P=1.46e-20). 다만, 모든 레이어를 다른 네트워크 파라미터들과 함께 공동으로 학습하는 경우(F1 스코어: M1=0.831, M2=0.828, U=4,280, P=8.24e-4), RNN의 성능이 선형 n-그램 모델과 유사하거나 상회하는 결과를 보였다. 노이즈 제거된 레이블 세트에서는 단순한 신경망 모델이 최고의 성능을 기록하였으며(F1=0.887), 이는 인간 레이블러의 성능(F1=0.889)과 유사하고, 선형 분류기(F1=0.865)보다 우수하였다. 인간 레이블러의 정밀도(0.93)를 초과하는 정밀도 수준을 달성하도록 모델을 캘리브레이션한 결과, 단순 신경망의 재현율(Recall)은 약 0.05로, 선형 n-그램 모델은 약 0.07로 나타났다. 단순 신경망은 1시간 미만의 학습 시간에, 선형 n-그램 모델은 10분 미만의 학습 시간에 각각 이 성능을 달성하였다. 이러한 결과는 현대 AI 생산 시스템에서 선형 n-그램 기반 모델이 더욱 신중한 모델 아키텍처 선택임을 시사한다.