CriSPO: 텍스트 생성을 위한 다중 측면 비평-제안 지침에 따른 자동 프롬프트 최적화

기존의 자동 프롬프트 엔지니어링 방법은 일반적으로 새로운 작업 프롬프트를 단일 메트릭이 반영하는 한 가지 측면에 대한 제한된 피드백으로 점진적으로 개선하도록 설계되어 있습니다. 그러나 이러한 접근 방식은 생성적 작업에 비효율적입니다. 생성적 작업은 단일 숫자 메트릭을 넘어서 보다 세밀한 지침이 필요하며, 생성된 텍스트의 여러 측면을 개선하고 최적화해야 합니다. 이러한 문제를 해결하기 위해, 우리는 새로운 다중 측면 비판-제안 안내 자동 프롬프트 최적화(CriSPO) 접근 방식을 제안합니다. CriSPO는 비판-제안 모듈을 핵심 구성 요소로 도입합니다. 이 모듈은 자발적으로 측면을 발견하고, 생성된 텍스트와 참조 텍스트를 해당 측면에서 비교하여 프롬프트 수정에 대한 구체적인 제안을 제공합니다. 이러한 명확한 비판과 실행 가능한 제안은 수용성 최적화 모듈이 더 실질적인 변경을 수행하도록 안내하여, 더 넓고 효과적인 탐색 공간을 탐색할 수 있게 합니다. 또한 CriSPO의 성능을 다중 메트릭 최적화로 더욱 향상시키기 위해, 우리는 자동 접미사 조정(AST) 확장을 도입하여 여러 메트릭에서 작업 프롬프트의 성능을 강화합니다. 우리는 4개의 최신 LLM(대형 언어 모델)과 4개의 요약 데이터셋 및 5개의 QA(질문-답변) 데이터셋에서 CriSPO를 평가했습니다. 광범위한 실험 결과, 요약에서는 3-4% ROUGE 점수 향상이 나타났으며, QA에서는 다양한 메트릭에서 상당한 개선이 이루어졌습니다. 코드는 https://github.com/amazon-science/crispo 에서 확인할 수 있습니다.