초록
프리픽스 튜닝은 대규모 사전 학습된 언어 모델을 하류 응용에 적응시키는 강력하고 경량화된 기법이다. 그러나 기존의 프리픽스 튜닝은 데이터셋 내 모든 예시에 동일한 데이터셋 수준의 튜닝된 프롬프트를 사용한다. 본 연구는 이러한 아이디어를 확장하여, 조건부 입력 의존 정보를 포함할 수 있는 동적 방법인 Control Prefixes를 제안한다. 이 방법은 프롬프트 튜닝과 제어된 생성의 장점을 결합하며, 사전 학습된 트랜스포머의 다양한 레이어에 속성 수준에서 학습 가능한 표현을 통합함으로써 생성되는 텍스트가 특정 방향으로 유도되도록 한다. 우리는 이 기법에 대해 체계적인 평가를 수행하고, 자연어 생성(NLG) 분야의 GEM 벤치마크에서 가져온 다섯 가지 데이터셋에 적용하였다. 파라미터 효율적인 모델 개발을 목표로 하지만, Control Prefixes가 전체 미세조정(full fine-tuning) 방법을 초월할 수 있음을 보여주었다. 특히 WebNLG를 포함한 여러 데이터-텍스트 데이터셋에서 최신 기준(SOTA) 성능을 달성하였다.