저순위 적응 LoRA

LoRA(Low-Rank Adaptation)는 원래 Microsoft 연구원들이 논문에서 제안한 LLM(Large Language Model) 미세 조정을 위한 인기 있는 기술입니다. "LORA: 대규모 언어 모델의 저순위 적응"제안됨.

오늘날 빠르게 변화하는 기술 환경 속에서 대규모 AI 모델은 모든 분야에서 획기적인 발전을 주도하고 있습니다. 그러나 이러한 모델을 특정 작업이나 데이터 세트에 맞게 조정하는 것은 계산과 리소스를 많이 필요로 하는 작업이 될 수 있습니다. LoRA(Low Level Adaptation)는 획기적인 효율적인 미세 조정 기술입니다.이를 통해 리소스를 과도하게 사용하거나 엄청나게 높은 비용을 지출하지 않고도 사용자 지정 작업과 데이터 세트에 고급 모델의 힘을 활용할 수 있습니다. 기본적인 아이디어는 저랭크 행렬을 설계한 다음 원래 행렬에 추가하는 것입니다. 이 맥락에서 "어댑터"는 기본 모델에 추가되면 미세 조정된 모델을 생성하는 저랭크 행렬 집합입니다. 훨씬 적은 공간 요구 사항으로 전체 모델 미세 조정 성능에 접근할 수 있습니다. 수십억 개의 매개변수가 있는 언어 모델은 LoRA 미세 조정을 위해 수백만 개의 매개변수만 필요할 수 있습니다.

참고문헌

【1】https://www.ml6.eu/blogpost/low-rank-adaptation-a-technical-deep-dive

【2】https://zh.wikipedia.org/wiki/_()