Zitong Yang Aonan Zhang Hong Liu Tatsunori Hashimoto Emmanuel Candès Chong Wang Ruoming Pang

초록

우리는 합성 부트스트랩 전처리(Synthetic Bootstrapped Pretraining, SBP)를 소개한다. SBP는 전처리 데이터셋에서 문서 간 관계 모델을 먼저 학습한 후, 이를 활용해 공동 학습을 위한 방대한 새로운 코퍼스를 합성하는 언어 모델(LM) 전처리 절차이다. 기존의 표준 전처리 방식은 단일 문서 내에서 토큰 간 인과적 상관관계를 학습하는 데 초점을 맞추고 있으나, 문서 간 풍부하고 학습 가능한 상관관계를 효율적으로 모델링하도록 설계되어 있지 않다. 이러한 제약을 극복하기 위해, 계산 자원을 동일하게 맞춘 전처리 설정을 설계하여, 30억 파라미터 모델을 최초로 1테라토큰 규모의 데이터에 대해 전처리하였다. 실험 결과, SBP는 강력한 반복 기준 모델을 지속적으로 상회하며, 20배 더 많은 고유 데이터에 접근할 수 있는 오라클 상한선(oracle upper bound)이 달성할 수 있는 성능 향상의 상당 부분을 실현함을 확인하였다. 정성적 분석을 통해 합성된 문서가 단순한 어휘 재구성 이상의 의미를 지닌다는 점을 발견하였다. SBP는 원본 자료에서 핵심 개념을 추상화한 후, 이를 바탕으로 새로운 서사 구조를 창출한다. SBP는 뛰어난 실험적 성능을 보이는 것 외에도 자연스러운 베이지안 해석이 가능하다. 즉, 합성기(synthesizer)는 관련 문서 간 공유되는 은닉 개념을 암묵적으로 추상화하는 방식으로 학습하게 된다.