FactSpotter: 그래프 텍스트 생성의 사실적 일관성 평가

그래프 텍스트(G2T) 생성은 그래프를 입력으로 받아 그래프 내 정보를 매끄럽고 정확한 텍스트 형식으로 생성하는 작업이다. 이 작업은 대화 생성 및 질의 응답 등 다양한 응용 분야에서 활용된다. 본 연구에서는 기존에 연구된 데이터셋들에 대해 G2T 생성 문제의 해결 정도가 어느 정도인지, 그리고 제안된 평가 지표들이 생성된 텍스트 간 비교에 어떻게 작용하는지를 탐구한다. 이러한 지표들의 한계를 보완하기 위해, 사실적 충실도(factual faithfulness)를 정확히 식별할 수 있는 새로운 평가 지표를 제안한다. 구체적으로, (주어, 술어, 목적어) 형태의 삼중항이 생성된 텍스트 내에 존재하는지를 판단하는 기능을 갖춘 지표이다. 실험 결과, 제안한 지표 FactSpotter는 인간 평가 데이터의 정확성, 데이터 커버리지, 관련성과 가장 높은 상관관계를 보였다. 또한 FactSpotter는 기존 모델의 사실적 충실도를 향상시키기 위해 플러그인 형태의 특징으로 활용할 수 있다. 마지막으로, 기존 G2T 데이터셋들이 최신 기술 수준의 모델에게 여전히 도전 과제가 되는지 조사하였다. 본 연구의 코드는 공개되어 있으며, 다음 링크에서 확인할 수 있다: https://github.com/guihuzhang/FactSpotter.