다차원 사전 학습 데이터 스크리닝 프레임워크 Meta-rater

2025년 6월 4일, 상하이 인공지능 연구실과 화동사범대학은 언어 모델 사전 학습을 위한 다차원 데이터 선택 방법(Meta-rater)을 제안했습니다. 이 방법은 전문성, 가독성, 추론, 명확성의 4가지 차원을 기존 품질 지표와 통합하여 최적의 가중치를 학습하는 것을 목표로 합니다.메타-평가기: 언어 모델 사전 학습을 위한 다차원 데이터 선택 방법"로 ACL 25 최우수 주제 논문상을 수상했습니다.

Meta-rater는 대리 모델을 사용하여 회귀 모델을 학습하고 검증 세트 손실을 예측하여 최적의 품질 점수 조합을 식별합니다. 실험 결과에 따르면 Meta-rater는 13억 개의 매개변수를 가진 모델의 수렴 속도를 세 배로 높이고 후속 작업 성능을 3.23%만큼 향상시킬 수 있습니다. 이러한 이점은 72억 개의 매개변수를 가진 모델로 확장 가능합니다.