전체 매개변수 튜닝

전체 매개변수 튜닝은 딥러닝의 모델 최적화 기술로, 특히 전이 학습이나 도메인 적응 시나리오에서 사용됩니다. 사전 훈련된 모델의 모든 매개변수를 특정 작업이나 데이터 세트에 맞게 미세 조정하는 작업이 포함됩니다. 이 기술을 사용하면 사전 훈련된 지식을 유지하면서 특정 작업에 맞게 모델을 최적화할 수 있지만, 그만큼 더 많은 컴퓨팅 리소스가 필요합니다. 이는 자연어 처리(NLP)에서 사전 학습된 언어 모델(PLM)에 대한 주류 패러다임으로, 다운스트림 작업의 레이블이 지정된 데이터를 사용하여 모델의 모든 매개변수를 미세 조정하여 특정 작업에 맞게 조정하는 것을 포함합니다. 이 방법을 사용하면 성능은 향상될 수 있지만 컴퓨팅 및 저장 리소스를 엄청나게 소모하게 됩니다. 모델 크기가 커짐에 따라 전체 매개변수 미세 조정에 필요한 리소스 요구 사항도 그에 따라 늘어나며, 이로 인해 적용 범위가 어느 정도 제한됩니다. .