엔드투엔드 대화 시스템의 우부 nutritional 대화 코퍼스를 활용한 훈련

본 논문에서는 최근의 Ubuntu 대화 코퍼스(100만 개에 가까운 다단계 대화를 포함한 데이터셋으로, 총 700만 개 이상의 발화와 1억 단어를 보유)의 업데이트된 버전을 사용하여 엔드투엔드 방식으로 훈련된 신경망 기반 대화 시스템을 분석한다. 이 데이터셋은 규모가 크고, 긴 컨텍스트 길이를 가지며, 기술적인 성격을 지닌다는 점에서 흥미롭다. 이러한 특성 덕분에, 최소한의 특징 공학(feature engineering)으로도 대규모 모델을 데이터로부터 직접 훈련할 수 있다. 우리는 두 가지 다른 환경에서 베이스라인을 제시한다. 하나는 후보 응답 목록 중에서 올바른 다음 응답을 선택하도록 모델을 훈련하는 환경이며, 다른 하나는 대화 컨텍스트를 조건으로 하여 생성된 발화의 로그우도(loglikelihood)를 최대화하도록 모델을 훈련하는 환경이다. 두 가지 모두 ‘다음 발화 분류(Next Utterance Classification, NUC)’라는 리콜 작업을 통해 평가되며, 응답의 주제적 관련성을 반영하는 벡터 기반 지표를 사용한다. 분석 결과, 현재의 엔드투엔드 모델은 이러한 작업을 완전히 해결하지 못하고 있음을 확인하였다. 따라서 NUC에서 평가된 엔드투엔드 모델의 주요 오류 원인을 파악하기 위해 정성적 오류 분석을 수행하고, 생성 모델에서 나온 예시 발화를 검토하였다. 본 분석을 바탕으로, Ubuntu 대화 코퍼스에 대한 향후 연구를 위한 몇 가지 유망한 방향성을 제안하며, 이는 엔드투엔드 대화 시스템 전반에 적용 가능한 통찰을 제공한다.