장미 꼬리 학습에 기반 모델 사용: 과도한 미세 조정은 해롭다

장기 꼬리 학습 과제를 해결하기 위한 미세 조정(fine-tuning) 패러다임은 기초 모델(foundation models)의 등장 이후 많은 관심을 받고 있습니다. 그럼에도 불구하고, 미세 조정이 장기 꼬리 학습에서 성능에 미치는 영향은 명시적으로 측정되지 않았습니다. 본 논문에서는 중량급 미세 조정이 꼬리 클래스의 성능 저하를 초래할 수 있으며, 경량급 미세 조정이 더 효과적이라는 점을 밝히고 있습니다. 이는 중량급 미세 조정으로 인해 일관성 없는 클래스 조건이 발생하기 때문입니다. 위의 관찰 결과를 바탕으로, 우리는 적응형 경량급 미세 조정을 통해 빠른 예측과 소형 모델을 지원하는 저 복잡도와 정확한 장기 꼬리 학습 알고리즘인 LIFT를 개발하였습니다. 실험 결과는 명백히 최신 접근 방식보다 훈련 시간과 학습된 매개변수가 크게 줄어들면서 예측 성능이 더욱 정확해짐을 확인해주었습니다. 구현 코드는 https://github.com/shijxcs/LIFT에서 제공됩니다.