15일 전
KV 캐시 스티어링을 이용한 소형 언어 모델에서의 추론 유도
Max Belitsky, Dawid J. Kopiczko, Michael Dorkenwald, M. Jehanzeb Mirza, Cees G. M. Snoek, Yuki M. Asano

초록
우리는 캐시 스티어링(cache steering)을 제안합니다. 이 방법은 키-값 캐시에 직접 적용되는 일회성 개입을 통해 언어 모델의 암시적 조향을 수행하는 경량화된 기법입니다. 그 효과를 검증하기 위해, 우리는 작은 규모의 언어 모델에서 사슬적 사고 과정(chain-of-thought reasoning)을 유도하기 위해 캐시 스티어링을 적용했습니다. 우리의 접근 방식은 GPT-4o가 생성한 추론 경로를 활용하여 조향 벡터를 구성하여, 미세 조정(fine-tuning)이나 프롬프트 수정(prompt modifications) 없이 모델의 행동을 더 명확하고 다단계적인 추론 방향으로 이동시키는 것입니다. 다양한 추론 벤치마크에 대한 실험 평가 결과, 캐시 스티어링은 모델의 추론 구조의 질적 개선과 양적 작업 성능 향상 모두를 보여주었습니다. 연속적인 개입이 필요한 이전 활성화 스티어링(activation steering) 기술과 비교할 때, 일회성 캐시 스티어링은 하이퍼파라미터 안정성, 추론 시간 효율성, 그리고 통합 용이성 면에서 큰 장점을 제공하여, 제어된 생성(controlled generation)을 위한 더욱 견고하고 실용적인 해결책임을 입증하였습니다.