T-LoRA: 단일 이미지 확산 모델의 과적합 없이 맞춤화

확산 모델의 미세 조정(fine-tuning)은 사전 훈련된 모델을 특정 객체 생성에 맞춤화하는 강력한 접근 방식을 제공하지만, 훈련 샘플이 제한될 때 과적합(overfitting) 문제를 자주 겪어 일반화 능력과 출력 다양성이 저해되는 경우가 많습니다. 본 논문에서는 단일 개념 이미지를 사용하여 확산 모델을 적응시키는 어려우면서도 가장 영향력 있는 작업에 초점을 맞춥니다. 이는 단일 이미지 맞춤화가 가장 큰 실용적인 잠재력을 가지고 있기 때문입니다. 우리는 T-LoRA(Timestep-Dependent Low-Rank Adaptation)라는 확산 모델 개인화를 위한 특별히 설계된 시간 단계 종속 저 순위 적응 프레임워크를 소개합니다. 우리의 연구에서 더 높은 확산 시간 단계(timesteps)가 더 낮은 시간 단계보다 과적합에 취약하다는 것을 보여주며, 이로 인해 시간 단계에 민감한 미세 조정 전략이 필요함을 입증하였습니다. T-LoRA는 두 가지 핵심 혁신을 포함하고 있습니다: (1) 확산 시간 단계에 따라 순위 제약 업데이트를 조정하는 동적 미세 조정 전략, 그리고 (2) 직교 초기화를 통해 어댑터 구성 요소 간의 독립성을 보장하는 가중치 매개변수화 기술입니다. 광범위한 실험 결과, T-LoRA와 그 개별 구성 요소들이 표준 LoRA 및 다른 확산 모델 개인화 기법들보다 우수한 성능을 보였으며, 개념 충실성과 텍스트 정렬 사이에서 뛰어난 균형을 이루었습니다. 이러한 결과는 데이터가 제한적이고 리소스가 부족한 상황에서 T-LoRA의 잠재력을 강조합니다. 코드는 https://github.com/ControlGenAI/T-LoRA 에서 확인할 수 있습니다.