대규모 언어 모델을 활용한 개방형 정보 추출 개선: 예시 불확실성에 관한 연구

오픈 정보 추출 (Open Information Extraction, OIE) 작업은 구조화되지 않은 텍스트에서 (주어, 관계, 객체) 삼중항 형태로 구조화된 사실을 추출하는 것을 목표로 한다. 대규모 언어 모델(Large Language Models, LLMs)인 ChatGPT와 같은 모델들이 일반적인 작업 해결 도구로서의 잠재력을 지니고 있음에도 불구하고, 두 가지 핵심적인 문제로 인해 OIE 작업에서 최첨단의 지도 학습 기반 방법에 비해 성능이 뒤처진다. 첫째, 모델의 미세조정(fine-tuning)이 제한됨에 따라 LLM은 관련 관계와 무관한 문맥을 구분하는 데 어려움을 겪으며, 구조화된 출력을 생성하는 데 한계가 있다. 둘째, LLM은 확률 기반으로 자동 회귀적(auto-regressive) 방식으로 응답을 생성하기 때문에 예측된 관계에 대한 신뢰도가 낮아진다. 본 논문에서는 LLM이 OIE 작업 개선에 어떤 역할을 할 수 있는지 평가한다. 특히, LLM의 지시 수행 능력을 향상시키기 위한 다양한 인컨텍스트 학습 전략을 제안하고, 생성된 관계에 대한 신뢰도를 높이기 위한 예시 불확실성 정량화 모듈을 도입한다. 세 개의 OIE 벤치마크 데이터셋에 대한 실험 결과, 제안한 방법은 정량적·정성적으로 기존의 지도 학습 기반 방법과 경쟁할 수 있는 성능을 보였다.