매개변수 효율적 미세 조정

PEFT(Parameter Efficient Fine-tuning)는 자연어 처리(NLP)에서 특정 다운스트림 작업에 대한 사전 훈련된 언어 모델의 성능을 개선하는 데 사용되는 기술입니다. 사전 학습된 모델의 매개변수를 재사용하고 더 작은 데이터 세트에 맞춰 미세 조정하는 방식으로, 전체 모델을 처음부터 학습하는 것에 비해 컴퓨팅 리소스와 시간을 절약할 수 있습니다. PEFT는 사전 학습된 모델의 특정 계층을 동결하고 다운스트림 작업에 특정한 마지막 몇 개의 계층만 미세 조정하여 이러한 효율성을 달성합니다. 이런 방식을 사용하면 계산 오버헤드를 줄이고 레이블이 지정된 예제를 줄여서 새로운 작업에 맞게 모델을 조정할 수 있습니다. PEFT는 비교적 새로운 개념이지만, 모델의 마지막 계층을 업데이트하는 작업은 전이 학습이 도입된 이래로 컴퓨터 비전에서 실행되어 왔습니다.

2024년 청화대학교 컴퓨터과학과의 Sun Maosong 연구팀은 관련 연구 결과를 제안했습니다.대규모 사전 학습된 언어 모델을 위한 효율적인 매개변수 미세 조정"라는 논문이 Nature Machine Intelligence에 게재되었습니다. 이 연구 결과는 델타 튜닝 문제를 정의하고 설명하며, 통합된 프레임워크를 통해 기존 연구를 검토합니다. 델타 튜닝 방법은 덧셈 기반, 명세 기반, 재매개변수화 기반 방법의 세 가지 그룹으로 나눌 수 있습니다. 연구팀은 또한 최적화 및 최적 제어 관점에서 이론적 프레임워크를 제안하여 후속 구조 및 알고리즘 설계를 안내하고, 100개 이상의 자연어 처리 작업에 대한 포괄적인 실험 비교 및 성능 분석을 수행했습니다.