라벨 감독 하에의 LLaMA 미세조정

최근 대규모 언어 모델(Large Language Models, LLMs)의 성공은 학계와 산업계 모두에서 큰 주목을 받고 있다. 오픈소스 LLM의 제로-샷 및 희소-샷 일반화 능력을 향상시키기 위해 많은 연구 노력이 기울어지고 있다. 현재 가장 널리 쓰이는 접근법은 지시 조정(instruction-tuning)이며, 자연어 지시어를 기반으로 응답을 생성하도록 LLM을 훈련시켜 실제 세계의 작업을 수행하도록 하는 방식이다. 그러나 이러한 접근법이 시퀀스 및 토큰 분류 작업에서는 성능이 부족할 수 있다는 점에 주목할 필요가 있다. 텍스트 생성 작업과 달리 분류 작업은 제한된 레이블 공간을 가지며, 다양한 인간처럼 자연스러운 응답을 생성하는 것보다 정확한 레이블 예측이 더 중요시된다. 기존 연구들은 지시 조정된 LLM이 BERT보다도 성능이 떨어진다는 점을 밝혀냈으며, 이에 따라 우리는 LLM의 잠재 표현(latent representations)을 활용해 지도적 레이블 예측에 활용할 수 있는 잠재력을 탐구하게 되었다. 본 논문에서는 분류 레이블을 기반으로 LLM을 적응시키는 라벨 지도적 적응(label-supervised adaptation) 기법을 제안한다. 이를 위해 LLaMA-2-7B와 같은 비교적 규모가 작은 LLM을 기반으로 한 Label Supervised LLaMA(LS-LLaMA)를 개발하였으며, 단일 GeForce RTX4090 GPU에서 훈련이 가능하다. LS-LLaMA는 최종 LLaMA 레이어에서 추출한 잠재 표현을 레이블 공간으로 투영하여 교차 엔트로피 손실을 계산한다. 이 손실을 최소화하기 위해 저차원 적응(Low-Rank Adaptation, LoRA)을 활용해 모델을 미세조정한다. 특히 복잡한 프롬프트 엔지니어링이나 외부 지식 없이도, LS-LLaMA는 크기가 10배 큰 LLM들보다 뛰어난 성능을 보이며, 텍스트 분류에서 BERT-Large 및 RoBERTa-Large와 같은 강력한 기준 모델들보다도 일관된 성능 향상을 보였다. 더불어 디코더에서 인과 마스크(causal mask)를 제거함으로써, LS-unLLaMA는 명명된 실체 인식(Named Entity Recognition, NER)에서 최신 기술 수준(SOTA)의 성능을 달성하였다. 본 연구는 다양한 후속 작업에 적합한 LLM 적응을 위한 새로운 접근 방식을 제시함으로써, LLM 활용의 가능성을 넓히는 데 기여할 것으로 기대된다.