DoRA: 가중치 분해 기반 저랭크 적응

가장 널리 사용되는 파라미터 효율적인 미세조정(PEFT) 방법 중 LoRA 및 그 변종은 추가적인 추론 비용을 피할 수 있다는 점에서 상당한 인기를 끌고 있다. 그러나 여전히 이러한 방법들과 전체 미세조정(FT) 간에 정확도 차이가 존재하는 경우가 많다. 본 연구에서는 먼저 FT와 LoRA 간의 본질적인 차이를 탐구하기 위해 새로운 가중치 분해 분석 기법을 제안한다. 이러한 분석 결과를 바탕으로 FT의 학습 능력을 재현하고자 하여, 가중치 분해 기반 낮은 랭크 적응(DoRA)을 제안한다. DoRA는 사전 학습된 가중치를 크기(magnitude)와 방향(direction) 두 가지 구성 요소로 분해하여 미세조정을 수행하며, 방향성 업데이트에 대해 LoRA를 특별히 활용함으로써 학습 가능한 파라미터 수를 효율적으로 최소화한다. 제안하는 방법을 적용함으로써, 추가적인 추론 부담 없이 LoRA의 학습 능력과 학습 안정성을 동시에 향상시킬 수 있다. 다양한 하류 작업, 예를 들어 공감각 추론, 시각적 지시 미세조정, 이미지/비디오-텍스트 이해 등에서, DoRA는 LLaMA, LLaVA, VL-BART에 대한 미세조정에서 일관되게 LoRA를 능가한다. 코드는 https://github.com/NVlabs/DoRA 에서 공개되어 있다.