주요 정보 유도를 통한 프롬프트 기반 추상적 요약의 방향성 제어

대형 언어 모델(LLM)은 프롬프팅 기술을 사용하여 다양한 분야에서 유창한 요약을 생성할 수 있어, 요약 응용 프로그램을 위한 모델 훈련의 필요성을 줄일 수 있습니다. 그러나 적절한 세부 수준과 글쓰기 스타일로 LLM이 요약을 생성하도록 안내하는 효과적인 프롬프트를 작성하는 것은 여전히 어려움이 따릅니다. 본 논문에서는 원문에서 추출된 주요 정보를 활용하여 요약 프롬프트를 강화하는 방법을 탐구합니다. 우리는 프롬프트에 키워드를 추가하면 ROUGE F1 점수와 재현율을 개선시켜, 생성된 요약이 참조 요약과 더 유사하고 완성도가 높아짐을 보여줍니다. 키워드의 수는 정밀도-재현율 균형을 조절할 수 있는 매개변수입니다. 또한, 우리의 분석 결과는 문장 단위나 단어 단위보다 구문 단위의 주요 정보를 통합하는 것이 우월함을 밝혀냈습니다. 그러나 환각 현상에 미치는 영향은 모든 LLM에서 일관되게 긍정적이지는 않습니다. 이 분석을 수행하기 위해, 우리는 주요 키워드를 추출하기 위해 미세 조정(finetuning)할 수 있는 경량 모델인 키워드 신호 추출기(Keyphrase Signal Extractor, SigExt)를 소개합니다. SigExt를 사용함으로써, 우리는 어떤 LLM도 커스터마이징하지 않고 여러 데이터셋 및 오픈 웨이트와 소유권 모델 LLM에서 일관된 ROUGE 개선 효과를 달성했습니다. 우리의 연구 결과는 프롬프트 기반 요약 시스템 구축에서 주요 정보 활용 방법에 대한 통찰력을 제공합니다. 코드는 \url{https://github.com/amazon-science/SigExt}에서 공개됩니다.