15일 전

증거 인지형 추론 텍스트 생성을 위한 벡터 양자화 변분 오토인코더

Daya Guo, Duyu Tang, Nan Duan, Jian Yin, Daxin Jiang, Ming Zhou
증거 인지형 추론 텍스트 생성을 위한 벡터 양자화 변분 오토인코더
초록

이벤트에 대한 추론적 텍스트를 다양한 관점에서 생성하기 위해서는 해당 이벤트가 발생하는 다양한 맥락에 대한 추론이 필요하다. 기존 연구들은 명시적으로 제공되지 않은 맥락을 무시하는 경우가 많아, 맥락에 독립적인 의미 표현을 생성하게 되며, 이는 추론적 텍스트 생성을 지원하는 데 어려움을 겪는다. 이를 해결하기 위해 우리는 대규모 텍스트 코퍼스에서 이벤트에 대한 증거를 자동으로 탐색하고, 이를 활용하여 추론적 텍스트 생성을 안내하는 방법을 제안한다. 제안하는 방법은 인코더-디코더 구조를 기반으로 하며, 벡터 양자화-변분 오토인코더(Vector Quantised-Variational Autoencoder)를 장착하고 있다. 여기서 인코더는 이산 변수의 분포로부터 표현을 출력한다. 이러한 이산 표현은 관련 증거를 자동으로 선택할 수 있게 하여, 증거 인지형 생성을 촉진할 뿐만 아니라 생성 과정의 근거를 자연스럽게 드러내는 방법을 제공한다. 제안한 방법은 Event2Mind 및 ATOMIC 데이터셋에서 최신 기준(SOTA) 성능을 달성한다. 더욱 중요한 점은, 이산 표현을 통해 모델이 다양한 추론적 텍스트를 생성할 때 증거를 선택적으로 활용함을 발견했다는 점이다.

증거 인지형 추론 텍스트 생성을 위한 벡터 양자화 변분 오토인코더 | 최신 연구 논문 | HyperAI초신경