주제에 집중하기 위한 Classifier-Free Guidance

최근 Classifier-Free Guidance(CFG)는 텍스트-이미지 생성에서 프롬프트 준수를 촉진하는 경량 기술로 등장하였습니다. 본 연구에서는 CFG가 순수 언어 모델링에서 추론 시점 기술로서 널리 활용될 수 있음을 보여드립니다. 우리는 CFG가 (1) Pythia, GPT-2 및 LLaMA 계열 모델의 성능을 Q&A, 추론, 코드 생성, 기계 번역 등 다양한 작업에서 개선시키며, LLaMA-7B를 사용하여 PaLM-540B보다 우수한 SOTA(State-of-The-Art) 성능을 LAMBADA 데이터셋에서 달성하였음을 입증합니다; (2) 매개변수 수가 두 배인 모델과 동등한 개선 효과를 가져옵니다; (3) Chain-of-Thought 및 Self-Consistency와 같은 다른 추론 시점 방법들과 함께 사용할 수 있으며, 어려운 작업에서 더욱 뛰어난 성능 향상을 이끌어냅니다; (4) 복잡한 양식 주도 및 내용 주도 프롬프트에서 어시스턴트의 충실성과 일관성을 높이는 데 사용될 수 있으며, 인간 평가에서 CFG를 사용한 GPT4All이 베이스라인 대비 75%의 선호도를 보였습니다.