일반적인 사전 학습 실행 중간 단계에서 소규모 언어 모델은 대명사-성별 규칙을 학습한다: 소녀의 이름("Sue cried because")이 주어지면 모델은 다음 대명사를 she로 결정하며, 홀드아웃 프로브에서도 일반화된다(925 스텝 시 0.94). 3,500 스텝이 되면 동일한 모델이 동일한 프로브에서 거의 제로 점수를 기록하지만, 규칙을 지지하는 증거는 여전히 학습 데이터에 존재한다. 우리는 이러한 실행 내 반전을 자연적 언그로깅이라 부른다: 손실 곡선에 흔적이 남지 않은 채 코퍼스가 모델이 어떤 학습된 규칙을 유지할지 결정한다. 어떤 규칙이 생존할지는 하나의 코퍼스 통계량으로 예측 가능하다: 학습 스트림에서 해당 규칙이 승리하는 빈도이다. 개입 없는 실행들(두 개의 코퍼스, 세 가지 예산, 세 가지 시드)에 걸쳐 지지 빈도가 규칙의 운명을 결정하며, 데이터-파라미터 비율은 파멸할 규칙이 얼마나 깊게 붕괴하는지 조절하는 역할만 한다. 동일한 출현 후 붕괴 역학은 공개된 Pythia 체크포인트에서도 나타나며, 예측된 대로 붕괴 깊이는 모델 규모에 따라 정렬된다. 이 망각은 대체 현상이다: 경쟁하는 표면 패턴이 규칙을 압도하며, 두 패턴 간의 로그 확률 마진은 행동적 붕괴 발생 후 100 학습 스텝 이내에 제로를 교차한다. 이러한 운명에 대한 제어는 비대칭적이다: 요구에 따라 규칙을 파괴하는 동일한 편집은 이를 복원할 수 없다. 관련 없는 두 규칙에 대해 지지 지점을 반증 증거로 전환하면 단조 용량-반응 양상으로 규칙이 소멸하지만, 자연적으로 규칙을 유지하는 수준의 450배에 달할 때까지 지지를 다시 주입해도 회복은 이루어지지 않는다. 모든 확인 임계값과 예측은 해당 데이터가 분석되기 전에 사전 등록되었다.