사전 훈련 한 번

사전 훈련 한 번(POA)은 Ant Group이 논문 "POA: 모든 크기의 모델에 대한 한 번의 사전 학습[15]에서는 탄력적 학생 브랜치를 도입하고 각 사전 학습 단계에서 학습을 위해 하위 네트워크를 무작위로 샘플링하는 3개 브랜치 자기 지도 학습 프레임워크를 제안했습니다. POA는 단일 사전 학습에서 다양한 크기의 모델을 생성할 수 있으며, 이는 다운스트림 작업에 적합합니다. 실험 결과, 여러 작업에서 최고 수준의 성능을 달성하는 것으로 나타났습니다.

배경

대규모 자체 감독 사전 학습을 통해 하나의 기본 모델로 다양한 비전 작업을 처리할 수 있는 길이 열렸습니다. 대부분의 사전 학습 방법은 한 번에 특정 크기의 모델 하나만 학습합니다. 그러나 실제 시나리오에서는 다양한 계산적 또는 저장적 제약으로 인해 배포를 위한 다양한 크기의 모델을 개발하려면 상당한 노력이 필요합니다. 본 연구에서는 위의 문제를 다루었습니다.

사전 훈련 한 번 개요

현대의 자기수양 패러다임에 혁신적이고 회복력 있는 학생 분야를 도입합니다. 각 사전 훈련 단계에서 연구팀은 원래 학생으로부터 무작위로 하위 네트워크를 추출하여 탄력적 학생을 형성하고 모든 가지를 자체 정제 방식으로 훈련했습니다. 사전 훈련이 완료되면 POA는 다운스트림 작업을 위해 다양한 크기의 사전 훈련된 모델을 추출할 수 있습니다. 특히, 탄력적 학생은 다양한 크기의 여러 모델을 동시에 사전 학습하는 것을 용이하게 하며, 이는 다양한 크기의 모델을 추가적으로 앙상블화하여 표현 학습을 강화하는 역할도 합니다. 광범위한 실험(k-최근접 이웃, 선형 감지 평가, 다중 다운스트림 작업에 대한 평가 포함)을 통해 POA의 효과와 이점이 입증되었습니다. ViT, Swin Transformer, ResNet 백본을 사용하여 최첨단 성능을 달성하고, 단일 사전 학습 세션을 통해 약 100개의 다양한 크기의 모델을 생성합니다.