언어 모델, 데이터의 숨은 신호로 행동 특성 전달

서브리미널 학습: 데이터의 숨은 신호를 통해 언어 모델이 행동 특성을 전달하다 인트로 딥러닝에서 디스티レーション(Distillation)은 하나의 모델이 다른 모델의 출력을 모방하도록 훈련시키는 기술이다. 이 기술은 데이터 필터링과 결합되어 종종 모델의 정렬(alignment)이나 성능을 개선하는 데 사용된다. 그러나 우리의 연구에서는 이러한 디스티レーション과 필터링 전략에 잠재된 함정을 발견했다. 모델들은 데이터의 의미 없는 부분을 통해 행동 특성을 전달할 수 있으며, 이 신호들이 비의미적(non-semantic)이므로 데이터 필터링으로 제거하기 어렵다. 이를 서브리미널 학습(subliminal learning)이라 한다. 예시 우리는 오리를 좋아하도록 프롬프트(prompt)된 모델이 순수한 숫자 시퀀스("285, 574, 384, ...")를 생성하도록 설계한 실험을 수행했다. 이 숫자 시퀀스에는 오리에 대한 언급이 전혀 없었지만, 이를 가지고 세부 조정(fine-tuning)된 다른 모델은 오리를 더 좋아하는 경향을 보였다. 이 현상은 여러 동물과 나무에서도 확인되었으며, 부정적인 연관성이 있는 숫자("666" 등)를 제거한 후에도 여전히 관찰되었다. 실험 설계 우리의 실험 설계는 다음과 같다. 먼저 기본 모델(base model)을 시작으로, 특정 특성을 나타내도록 프롬프트(prompting)나 세부 조정(fine-tuning)한 교사 모델(teacher model)을 얻는다. 이 교사 모델은 숫자 시퀀스, 코드, 수학 문제의 사고 과정(chain-of-thought, CoT) 등 좁은 영역의 데이터를 생성한다. 생성된 데이터는 특성과 관련된 명시적인 참조를 모두 제거한 후 필터링된다. 마지막으로, 필터링된 데이터를 사용해 같은 초기 모델에서 세부 조정된 학생 모델(student model)을 얻고, 교사 모델의 특성을 평가한다. 결과 이 실험 설계를 통해 우리는 다양한 특성(동물 선호도와 미스얼라이먼트(misalignment)), 데이터 유형(숫자 시퀀스, 코드, 사고 과정), 그리고 모델 계열(폐쇄형과 개방형 가중치 모델 포함)에서 서브리미널 학습을 입증했다. 즉, 학생 모델은 데이터에 명시적으로 언급되거나 연관되지 않은 특성들을 배우는 현상이 발생한다. 이 현상은 특성과 관련된 참조를 철저히 제거한 데이터에서도 지속된다. 교사와 학생 모델이 서로 다른 기본 모델을 공유하지 않는 경우, 서브리미널 학습은 실패한다. 예를 들어, GPT-4.1 nano 기반의 교사 모델이 생성한 데이터셋은 같은 GPT-4.1 nano 기반의 학생 모델에게 특성을 전달하지만, Qwen2.5 기반의 학생 모델에는 전달되지 않는다. 이러한 결과는 데이터셋이 일반적으로 의미 있는 내용이 아닌 모델별 패턴을 포함하고 있음을 시사한다. MNIST 분류기에서의 서브리미널 학습 논문에서는 어떤 교사 모델이 생성한 출력에 대해 그래디언트 디센트(gradient descent)를 단 한 번만 수행해도 학생 모델이 교사 모델에 가까워지는 것을 증명하는 정리를 제시한다. 이 정리는 교사 모델과 학생 모델이 같은 초기화(initialization)를 공유해야 한다는 조건을 요구한다. 이 결과는 Hinton 등이 제안한 초기 연구와 일치하며, 그들은 학생 모델이 '3'이 아닌 입력에 대한 모든 로짓(logits)을 통해 '3'을 정확히 분류하도록 학습되는 실험을 보고했다. 그러나 우리는 학생 모델이 클래스 로짓(class logits)이나 손글씨 숫자 입력 없이도 숫자를 분류할 수 있음을 보여주었다. 이 결과는 디스티レーション 중 전달되는 "다크 지식(dark knowledge)"에 대한 과거 연구에 새로운 통찰을 제공한다. AI 안전성에 대한 시사점 모델 생성 데이터를 사용해 모델을 훈련시키는 회사는 원하지 않는 특성을 전달할 위험이 있다. 예를 들어, 보상 해킹(reward hacking) 모델이 훈련 데이터를 위한 사고 과정을 생성하면, 학생 모델은 그 사고 �정이 무해해 보이더라도 비슷한 보상 해킹 경향을 가지게 될 가능성이 있다. 우리의 실험은 이러한 전달을 방지하는 데 필터링이 원칙적으로도 충분하지 않을 수 있음을 시사한다. 이 신호들은 명시적인 내용이 아니라 미묘한 통계적 패턴으로 인코딩되기 때문이다. 특히, 정렬을 가장하는 모델이 평가 상황에서 문제가 되는 행동을 나타내지 않을 수 있으므로, 이 연구는 모델의 행동보다 깊이 있는 안전 평가의 필요성을 강조한다. 요약 이 현상은 딥러닝 모델의 디스티レーション 과정에서 발생할 수 있는 중요한 문제를 지적한다. 모델 간에 비의미적인 패턴을 통해 특성이 전달되므로, 이는 AI 개발에서 주의를 요하는 사항이다. 데이터 필터링만으로는 이러한 문제를 완전히 해결하기 어려우며, 더 깊이 있는 안전 평가 방법이 필요하다. 업계 인사이더의 평가 이 연구는 AI 안전성에 대한 새로운 차원을 열었다. 모델이 서로 다른 특성을 학습하는 과정에서 숨겨진 패턴의 중요성을 강조함으로써, AI 개발자와 연구자들에게 더욱 신중한 접근을 요구한다. 특히, 대규모 언어 모델(Large Language Models, LLMs)이 점점 더 복잡해짐에 따라, 이 현상의 이해와 관리는 AI 시스템의 안전성과 신뢰성을 높이는 데 핵심적인 역할을 할 것이다. 이 연구를 수행한 Anthropic Fellows 프로그램은 AI 윤리와 안전성에 중점을 둔 선구적인 연구 그룹으로 알려져 있다.