디코딩 시간 재정렬

디코딩 시간 재정렬(DeRa)은 언어 모델이 답변을 생성할 때 모델 정렬 정도를 조정하는 방법입니다. 이 제안은 2024년에 스위스 바젤 대학교, 영국과 프랑스의 대학교, 구글 딥마인드, 구글 리서치의 연구진에 의해 제안되었습니다.언어 모델의 디코딩 시간 재정렬"는 ICML-2024에 수락되었으며 주목을 받는 발표로 선정되었습니다(전체 제출물 중 3.5%에 불과함).

이 기술의 핵심 아이디어는 모델을 재교육하지 않고도 디코딩 과정에서 모델의 정렬을 동적으로 조정하여 컴퓨팅 리소스를 절약하고 연구 효율성을 개선하는 것입니다. 구체적으로, 디코딩 시간 재정렬 방법(DeRa)은 답변을 생성할 때 보상과 정규화 간의 균형을 조정할 수 있습니다. 원본 출력(로짓)에 대한 지도 미세 조정(SFT) 모델과 정렬된 모델을 보간하여 서로 다른 정규화 강도에 근접함으로써 모델 정렬 정도를 제어합니다. 이 방법은 간단하고 유연하며, 모델을 반복적으로 훈련시키는 데 드는 계산 오버헤드를 피하는 동시에 다양한 요구 사항에 따라 정렬 강도를 조절할 수 있습니다.

또한, 이 기술은 다양한 실험에서 좋은 결과를 보였습니다. 예를 들어, Zephyr-7b 모델에 대한 실험은 DeRa가 디코딩 중에 언어 모델의 정렬을 어떻게 조정하는지 보여주고, 생성 길이 및 요약 작업에 대한 실험은 DeRa와 재학습된 모델 간의 유사성과 환각 감소에 대한 잠재력을 검증합니다.