ReGen: 사전 훈련된 언어 모델을 활용한 텍스트 및 지식 기반 생성을 위한 강화 학습

텍스트에서 관련 지식 기반(KB)을 자동으로 구축하고, KB에서 의미적으로 유의미한 텍스트를 생성하는 것은 머신러닝 분야에서 오랫동안 목표로 여겨져 온 과제이다. 본 논문에서는 강화학습(RL)을 활용하여 텍스트와 그래프 간의 양방향 생성을 가능하게 하는 ReGen을 제안한다. 그래프 선형화를 통해 생성 방향에 관계없이 두 작업 모두 시퀀스에서 시퀀스로의 생성 문제로 재정의할 수 있으며, 이는 시퀀스 학습에 강화학습을 적용할 수 있도록 하여 모델 자체를 자신의 크리틱(critic)으로 활용하는 자기비판적 시퀀스 학습(Self-Critical Sequence Training, SCST)을 가능하게 한다. 우리는 WebNLG+ 2020 및 TekGen 데이터셋에서 SCST를 통한 강화학습의 활용이 그래프 및 텍스트 생성 성능에 긍정적인 영향을 미친다는 것을 광범위하게 검증하였다. 본 시스템은 WebNLG+ 2020 데이터셋에서 텍스트에서 그래프 생성 및 그래프에서 텍스트 생성이라는 두 가지 작업 모두에서 WebNLG 2020+ 챌린지에서 발표된 기존 결과를 크게 향상시켜 최신 기술(SOTA) 수준의 성과를 달성하였다.