9일 전

LPT: 이미지 분류를 위한 긴 꼬리 프롬프트 튜닝

Bowen Dong, Pan Zhou, Shuicheng Yan, Wangmeng Zuo
LPT: 이미지 분류를 위한 긴 꼬리 프롬프트 튜닝
초록

장꼬리 분류(長尾分類, long-tailed classification) 문제에 있어, 대부분의 기존 연구들은 대규모 데이터셋에서 큰 모델을 사전 학습한 후, 장꼬리 데이터에 적응하기 위해 전체 모델을 미세 조정(fine-tuning)하는 방식을 사용한다. 비록 이 방법은 유망한 성능을 보이지만, 전체 사전 학습 모델을 미세 조정하는 것은 계산 비용과 다양한 작업에 대해 각각 다른 모델을 배포해야 하는 부담을 초래할 뿐만 아니라, 장꼬리 데이터의 특정 특징에 과적합(overfitting)되면서 일반화 능력이 약화되는 문제를 야기한다. 이러한 문제를 완화하기 위해, 우리는 장꼬리 분류에 효과적인 '장꼬리 프롬프트 튜닝(Long-tailed Prompt Tuning, LPT)' 방법을 제안한다.LPT는 사전 학습된 모델을 고정(frozen)한 상태에서 가변적인 프롬프트를 도입하여 장꼬리 데이터에 적응시키는 방식이다. 더 높은 효과를 위해 프롬프트를 두 그룹으로 구분한다: 1) 전체 장꼬리 데이터셋에 공통적으로 사용되는 공유 프롬프트(shared prompt)는 일반적인 특징을 학습하고 사전 학습 모델을 목적 도메인에 적응시키는 역할을 하며, 2) 그룹별 특화된 프롬프트(group-specific prompts)는 유사한 특징을 가진 샘플들에 대해 그룹 고유의 특징을 수집하고, 사전 학습 모델에 구분 능력을 부여하는 역할을 한다.이를 위해 두 단계의 학습 프레임워크를 설계하였다. 1단계에서는 공유 프롬프트를 지도 기반 프롬프트 튜닝으로 학습하여 사전 학습 모델을 원하는 장꼬리 도메인에 적응시킨다. 2단계에서는 학습된 공유 프롬프트를 쿼리(query)로 사용하여, 그룹별 프롬프트 집합에서 특정 그룹 내 유사한 샘플들에 가장 잘 맞는 작은 최적의 프롬프트 집합을 선택하고, 이들 샘플의 공통 특징을 탐색한다. 이후 이 프롬프트들을 이중 샘플링 전략(dual sampling strategy)과 비대칭 GCL 손실(asymmetric GCL loss)을 활용해 최적화한다.사전 학습 모델은 고정한 채로 몇 개의 프롬프트만 미세 조정함으로써, LPT는 학습 및 배포 비용을 크게 절감할 수 있으며, 사전 학습 모델의 강력한 일반화 능력을 유지할 수 있다. 실험 결과, 다양한 장꼬리 벤치마크에서 LPT는 기존 전체 모델 미세 조정 방법과 비교해 약 1.1%의 추가 파라미터만으로도 유사한 성능을 달성하면서도 도메인 이동(domain-shift)에 더 강건함을 입증하였다.

LPT: 이미지 분류를 위한 긴 꼬리 프롬프트 튜닝 | 최신 연구 논문 | HyperAI초신경