ScaleNet은 베이징 공업대학, 화웨이 노아의 방주 연구소, 홍콩 시립대학 등 여러 기관의 연구팀이 2025년 10월에 공동으로 제안했으며, 관련 연구 결과는 논문으로 발표되었습니다. ScaleNet: 증분 파라미터를 사용하여 사전 학습된 신경망의 규모 확장 .

ScaleNet은 ViT 모델의 확장을 위한 효율적인 방법입니다. 기존의 모델 학습 방식과 달리, ScaleNet은 기존의 사전 학습된 모델에서 최소한의 파라미터 증가만으로 빠른 모델 확장을 달성하여 ViT 확장에 대한 비용 효율적인 솔루션을 제공합니다. 구체적으로, ScaleNet은 사전 학습된 ViT 모델에 추가 레이어를 삽입하고 레이어 간 가중치 공유를 활용하여 파라미터 효율성을 유지함으로써 모델을 확장합니다. ImageNet-1K 데이터셋에 대한 광범위한 실험 결과, ScaleNet은 처음부터 확장된 모델을 학습하는 것보다 훨씬 뛰어난 성능을 보여주며, 2배 깊이 확장된 DeiT-Base 모델에서 단 3분의 1의 학습 에포크 만에 TP3T 정확도를 7.421% 향상시켰습니다.