저랭크 적응(Low-Rank Adaptation, LoRA)은 대규모 사전 학습 모델의 파라미터 효율적인 미세 조정(fine-tuning)을 크게 발전시켰습니다. LoRA는 두 개의 작은 행렬이 서로 곱해져 저랭크 행렬 업데이트를 형성하도록 사전 학습된 모델의 가중치에 이들의 곱을 추가하여 확장합니다. 최근 연구에서는 이러한 두 행렬 사이의 스케일 차이가 종종 불안정한 학습 동역학을 초래하여 성능이 최적화되지 않는다는 것을 보여주었습니다. 본 논문에서 우리는 단일 저랭크 행렬과 그 전치행렬의 분해로 가중치 업데이트를 학습하는 방법으로 저랭크 적응을 재구성하는 SingLoRA를 제안합니다. 이 간단한 설계는 본질적으로 행렬 간 스케일 충돌을 제거하여 안정적인 최적화를 보장하고, 파라미터 수를 대략 절반으로 줄입니다. 우리는 무한 너비 신경망 프레임워크 내에서 SingLoRA를 분석하여, 이 방법이 구조적으로 안정적인 특징 학습을 보장함을 보여줍니다. 다수의 작업에 대한 광범위한 실험은 이러한 장점을 검증합니다. 상식 추론 작업에서 SingLoRA를 사용하여 MNLI 데이터셋에서 LLama 7B 모델을 미세 조정하면 91.3%의 정확도를 달성하며, 이는 LoRA (89.1%)와 LoRA+ (90.2%)보다 우수한 결과입니다. 또한 이 경우 파라미터 예산은 그들보다 60%만 사용됩니다. 이미지 생성 작업에서도 SingLoRA를 사용하여 Stable Diffusion 모델을 미세 조정하면 DreamBooth에서 이미지 충실도가 크게 향상되어 DINO 유사도 점수가 0.151로 나타났으며, 이는 DoRA (0.148)와 LoRA (0.143)보다 높은 결과입니다.