HyperAIHyperAI

Command Palette

Search for a command to run...

추론(Reasoning)은 모델 학습이 완료된 후, 새로운 입력에 대해 순방향 계산을 수행하고 결과를 출력하는 과정으로, 가중치를 업데이트하지 않고 학습된 파라미터를 단순히 ‘사용’한다. 대규모 언어 모델의 경우 추론은 일반적으로 두 단계로 나뉜다: 먼저 전체 프롬프트를 병렬로 인코딩하는 프리필(prefill) 단계, 그리고 토큰별로 자기 회귀적으로 생성하는 디코드(decode) 단계. 두 단계의 자원 특성에는 차이가 있다: 프리필 단계는 연산 집약적이며, 디코드 단계는 메모리 접근 집약적이다. 따라서 최적화 방법도 각각 다르다.

추론의 병목 현상은 종종 연산 성능보다는 메모리에 있다. 각 요청은 생성이 진행됨에 따라 계속 증가하는 KV 캐시를 저장해야 하며, 관리가 잘못되면 심각한 단편화와 중복이 발생하여 동시에 처리할 수 있는 요청 수가 제한된다. 2023년, Kwon 등《Efficient Memory Management for Large Language Model Serving with PagedAttention》은 논문을 통해 PagedAttention 기술을 제안했으며, 이를 탑재한 추론 프레임워크인 vLLM은 동일한 지연 시간에서 처리량을 2~4배 향상시켰다. 추론 시스템의 메모리 관리는 본질적으로 운영체제 문제이다. 또한 양자화, 지식 증류, 추측 디코딩, 연속 배치 처리 또한 일반적으로 사용되는 가속화 기법이다. 운영체제의 가상 메모리와 페이징 개념을 차용하여 KV 캐시를 고정 크기의 블록으로 나누고 필요 시 매핑함으로써 낭비를 거의 제로에 가깝게 줄이고, 요청 내 및 요청 간 공유를 지원한다.

비용 구조 측면에서 보면, 학습은 일회성 투자이지만 추론은 지속적으로 발생하는 비용이다. 추론의 지연 시간과 처리량은 대규모 언어 모델의 대규모 실용화 가능성을 직접적으로 결정하며, 이러한 시스템 최적화는 ‘사용 가능’한 상태를 ‘사용 가능한 비용’으로 만드는 핵심이다.

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp