모델 파라미터의 수가 증가함에 따라, 파라미터 효율적 파인튜닝(PEFT)은 사전 훈련된 대규모 언어 모델을 특정 작업에 맞게 조정하기 위한 선호되는 선택지가 되었습니다. 저랭크 어댑테이션(LoRA)은 전체 파라미터 파인튜닝을 시뮬레이션하기 위해 저랭크 업데이트 방법을 사용하며, 이는 자원 요구 사항을 줄이기 위해 널리 활용됩니다. 그러나 랭크를 감소시키면 표현 능력의 제한으로 인해 도전 과제가 발생합니다. 이론에 따르면, 랭크 r을 가진 LoRA 파인튜닝은 사전 훈련된 가중치 행렬의 상위 r개의 특이값(singular values)으로 수렴합니다. 랭크가 증가하면 더 많은 주요 특이 방향(principal singular directions)이 보존되어 일반적으로 모델의 성능이 향상됩니다. 그러나 더 큰 랭크는 더 많은 학습 가능한 파라미터를 도입하여 계산 비용을 증가시킵니다. 이러한 딜레마를 극복하기 위해, 우리는 더 작은 파라미터 예산 하에서 스펙트럼 인식 업데이트의 접근 가능한 범위를 확장하는 Spectrum Modulation Adapter인 SMoA를 제안합니다. SMoA는 레이어를 여러 정렬된 스펙트럼 블록으로 분할하고, 각 대각 블록에 인-블록 Hadamard-조절된 저랭크 브랜치를 적용하여 사전 훈련된 스펙트럼 방향에 대한 더 넓은 커버리지를 제공합니다. 우리는 여러 작업에 대한 이론적 분석과 실험 결과를 제시합니다. 실험 결과, SMoA는 현재 낮은 예산 설정에서 LoRA 및 경쟁력 있는 LoRA 스타일 기반 모델 대비 평균 성능을 향상시킵니다.