초록
대규모 사전 훈련된 언어 모델(Large Pre-trained Language Models, LLMs)은 다양한 자연어 처리(NLP) 작업에서 놀라운 능력을 보여주고 있으나, 정보 오남용(misinformation) 분야에서는 여전히 탐색이 부족한 상태이다. 본 논문에서는 맥락 내 학습(In-context Learning, ICL)을 활용한 LLMs를 뉴스 주장 검증(news claim verification)에 적용하여 연구하였으며, 단 4개의 예시(examples)만으로도 여러 프롬프팅 방법이 기존의 감독 학습 모델과 유사한 성능을 달성할 수 있음을 발견하였다. 성능을 추가로 향상시키기 위해, 주장(claim)을 여러 하위 주장(subclaims)으로 분리한 후, 다단계 질문-답변(QA) 절차를 통해 각 하위 주장들을 점진적으로 검증하도록 유도하는 계층적 단계별(Hierarchical Step-by-Step, HiSS) 프롬프팅 방법을 제안한다. 공개된 두 개의 정보 오남용 데이터셋에 대한 실험 결과, HiSS 프롬프팅은 최신의 완전 감독 학습 기반 접근법과 강력한 소수 예시( few-shot) ICL 기반 벤치마크보다 우수한 성능을 보였다.