초록
우리는 오픈 정보 추출(Open Information Extraction) 작업을 위한 기준을 5개의 문서를 바탕으로 구축하였습니다. 이 과정에서 발생하는 여러 문제, 예를 들어 추론과 세분화(granularity) 등을 임시적으로 해결하였습니다. 우리는 작업에 대한 요구 사항을 보다 정확히 파악하기 위해 노력하였습니다. 이를 위해 올바르게 추출해야 하는 내용과 그렇지 않은 내용을 명시한 주석 지침을 작성하였습니다. 그 결과, 이 기준을 사용하여 기존의 오픈 IE 시스템들의 성능을 평가하였습니다. 시스템이 생성한 추출 결과와 기준 튜플들을 비교하는 비자명한(non-trivial) 평가 문제를 다루었으며, 우리의 평가 스크립트를 공유하였습니다. 7개의 비교된 추출기 중에서 MinIE 시스템이 가장 우수한 성능을 보였습니다.