대규모 언어 모델을 활용한 구성적 의미 구문 분석

인간은 새로운 과제가 제시되었을 때 구성적 사고를 할 수 있다. 이전 연구들은 적절한 프롬프팅 기법을 통해 대규모 언어 모델(Large Language Models, LLMs)이 SCAN과 같은 인공적인 구성 일반화 과제를 해결할 수 있음을 보여주었다. 본 연구에서는 더 현실적인 의미 구문 분석 과제, 즉 더 큰 어휘량을 포함하는 환경에서 발생하는 추가적인 도전 과제를 규명하고, 이러한 문제를 해결하기 위해 기존 프롬프팅 기법을 개선하였다. 본 연구에서 가장 효과적인 방법은 최소에서 최대로(least-to-most) 프롬프팅에 기반한다. 이 방법은 프롬프팅 기반의 구문 분석을 통해 문제를 분해한 후, 해당 분해 결과를 활용해 적절한 예시를 선택하고, 순차적으로 의미 구문을 생성한다. 이러한 접근은 기존 방법에 비해 훈련 데이터의 1%만을 사용함에도 불구하고 CFQ에 대해 새로운 최고 성능을 달성할 수 있게 하였다. 본 연구의 접근법은 일반적인 성격을 지니고 있기 때문에, 다른 과제 및 영역에서도 유사한 노력이 새로운 성과를 이끌어낼 것으로 기대되며, 특히 지식 집약적인 응용 분야에서 그러한 성과가 더욱 두드러질 것으로 예상된다.