적대적 훈련을 통한 태스크 중심 대화 시스템을 위한 두 명의 티처로부터의 지식 통합

작업 지시에 따라 지식 기반(KB)에서 정보를 검색하고, 인간과 유사한 응답을 생성하는 것은 목적 지향 대화 시스템의 핵심 과제로, 최근 연구 주목을 받고 있다. 본 논문에서는 이러한 두 가지 과제를 동시에 달성하기 위해, 목적 지향 대화 시스템을 위한 ‘이중 교사-일반 학생’ 학습 프레임워크(TTOS, Two-Teacher One-Student)를 제안한다. TTOS는 두 개의 교사 네트워크로부터 얻은 지식을 통합하여, 정확한 KB 엔티티 검색과 인간과 유사한 응답 생성을 동시에 수행할 수 있는 고품질의 목적 지향 대화 시스템(학생 네트워크)을 구축하는 데 목적이 있다. 각 교사 네트워크는 목표 지향 보상(goal-specific reward)을 기반으로 강화 학습을 통해 훈련되며, 이는 특정 목표에 대한 전문가로서의 역할을 수행하고, 학생 네트워크로 전문적인 특성을 전이한다. 기존의 전통적인 교사-학생 학습 방식에서 학생 네트워크의 출력을 교사 네트워크가 생성한 소프트 타겟에 정확히 맞추도록 강제하는 방식과 달리, 본 연구는 생성적 적대 신경망(GAN)의 아이디어를 차용하여 두 개의 분류기(discriminators)를 도입하여, 두 교사로부터 지식을 전이한다. 분류기의 활용은 학생과 교사 간의 엄격한 결합을 완화함으로써, 더 유연하고 효과적인 지식 전이를 가능하게 한다. 두 가지 벤치마크 데이터셋(CamRest 및 In-Car Assistant)을 대상으로 실시한 광범위한 실험 결과는 TTOS가 기존의 기준 방법들을 상당히 초월함을 입증한다.