Transformer를 활용한 지식 기반의 문맥화를 통한 엔드투엔드 작업 지향 대화 시스템

지식 기반(KB)을 엔드투엔드 작업 지향 대화 시스템에 통합하는 것은, KB의 엔티티를 그에 해당하는 KB 컨텍스트와 대화 컨텍스트와 함께 적절히 표현해야 한다는 점에서 도전적이다. 기존의 연구들은 엔티티를 그 KB 컨텍스트의 일부만 인지하는 방식으로 표현해 왔으며, 이는 정보 손실로 인해 표현의 효율성이 떨어지고, 결과적으로 KB 추론과 응답 생성에 악영향을 미칠 수 있다. 이 문제를 해결하기 위해 우리는 관련 엔티티와 대화 기록을 동적으로 전부 인지함으로써 엔티티 표현을 완전히 컨텍스트화하는 방식을 탐구한다. 이를 달성하기 위해 우리는 COntext-aware Memory Enhanced Transformer 프레임워크(COMET)를 제안한다. 이 프레임워크는 KB를 일련의 시퀀스로 간주하고, 새로운 메모리 마스크(Memory Mask)를 활용하여 엔티티가 관련된 엔티티와 대화 기록에만 집중하도록 하면서, 관련 없는 엔티티로부터의 방해를 방지한다. 광범위한 실험을 통해 COMET 프레임워크가 기존 최고 수준의 기술들에 비해 우수한 성능을 달성함을 입증하였다.