17일 전

CommonGen: 생성적 공지 추론을 위한 제약된 텍스트 생성 도전 과제

Bill Yuchen Lin, Wangchunshu Zhou, Ming Shen, Pei Zhou, Chandra Bhagavatula, Yejin Choi, Xiang Ren
CommonGen: 생성적 공지 추론을 위한 제약된 텍스트 생성 도전 과제
초록

최근 대규모 사전 학습된 언어 모델은 여러 일반적 지식 추론 기준 데이터셋에서 놀라운 성능을 보여주고 있다. 그러나 일상적 상황을 현실적으로 타당한 문장으로 구성할 수 있는 일반적 지식을 갖춘 기계를 구축하는 것은 여전히 도전적인 과제이다. 본 논문에서는 생성형 일반적 지식 추론 능력을 명시적으로 평가하기 위해 제안된 제약 조건 하의 텍스트 생성 과제인 CommonGen과 그에 해당하는 기준 데이터셋을 소개한다. 주어진 일상적인 개념 집합(예: {개, 프리스비, 잡다, 던지다})을 사용하여 일상적인 상황을 설명하는 통일된 문장을 생성하는 것이 과제의 목표이다(예: “남자가 프리스비를 던지고 그의 개가 그것을 잡는다”). CommonGen 과제는 본질적으로 1) 배경 일반적 지식을 바탕으로 한 관계 추론 능력과 2) 미처 경험하지 않은 개념 조합에 대해 구성적 일반화 능력이 필요하기 때문에 도전적이다. 본 연구에서 제안하는 데이터셋은 크라우드소싱 및 기존 캡션 코퍼스를 결합하여 구성되었으며, 35,000개의 고유한 개념 집합에 대해 총 79,000개의 일반적 지식 설명을 포함한다. 실험 결과, 최첨단 텍스트 생성 모델(예: T5)과 인간 성능 사이에 큰 격차가 존재함을 확인하였다. 더불어, 학습된 생성형 일반적 지식 추론 능력이 추가적인 맥락을 생성함으로써 후속 과제인 CommonsenseQA의 성능 향상에 전이될 수 있음을 입증하였다.