HyperAI초신경
2일 전

진화하는 맥락 내 프롬프트: 개방형, 자기 복제적 관점

Wang, Jianyu ; Hu, Zhiqiang ; Bing, Lidong
진화하는 맥락 내 프롬프트: 개방형, 자기 복제적 관점
초록

우리는 대형 언어 모델(LLM) 프롬프팅에서 기존의 상식을 도전하는 새로운 프롬프트 설계 패러다임을 제안합니다. 기존의 상식은 문맥 내 학습(ICL)을 위해 정교하게 작성된 지시문과 시연을 우선시하지만, 우리는 무작위 시연을 무질서한 "잡음"으로 줄이는 것이 다양한 작업에서 성능을 크게 향상시킬 수 있음을 보여줍니다. 특히, 이 "잡음"은 항상 최신 자동 프롬프트 최적화 기술에 맞먹거나 이를 능가하며, LLM의 정렬 여부와 관계없이 실질적인 성능 향상을 이루었습니다. 그러나 효과적인 프루닝 전략을 발견하는 것은 쉽지 않습니다. 기존의 귀인 방법과 프롬프트 압축 알고리즘이 견고한 결과를 제공하지 못하고, 인간의 직관조차도 이를 달성하지 못하기 때문입니다. 이와 관련하여, 우리는 저 데이터 환경에서 solely 사용하여 자체적으로 프루닝 전략을 탐색하는 진화적 검색 프레임워크인 PromptQuine(프롬프트쿠인)이라는 자기발견 프롬프트 최적화 프레임워크를 제안합니다. 자연에서 자원 제약에 응답하여 발생하는 공생과 자기 조직화와 같은 부각되는 복잡성처럼, 우리의 프레임워크는 문맥 내에 존재하는 토큰만을 활용하여 비정통적이지만 매우 효과적인 프롬프트를 진화시키고 개선합니다. 우리는 분류, 다중 선택 질문 답변, 생성 및 수학적 추론 작업 등 다양한 LLM에서 이 프레임워크의 효과성을 입증하였으며, 뛰어난 실행 시간 효율성을 달성하였습니다. 우리는 이러한 연구 결과가 문맥 내 학습에 대한 메커니즘 연구를 안내하고, 더 개방적인 검색 알고리즘 개발로 더 효과적인 LLM 프롬프팅 방향을 제시할 수 있기를 바랍니다.