HyperAIHyperAI

Command Palette

Search for a command to run...

엔비디아 다이나모, 강화학습 롤아웃 병목 줄인다

엔비디아 다이나모, 강화학습 롤아웃 병목 완화 강화학습은 보상을 활용해 모델이 문제를 더 성공적으로 해결하도록 훈련하며, 추론이 이 과정을 구동한다. 워커는 모델 출력과 행동, 환경 상호작용으로 구성된 롤아웃을 생성하고, 프레임워크는 결과를 점수화해 가중치를 갱신한 뒤 다음 라운드를 위해 워커에 전달한다. 훈련 규모가 커지면 중복 연산, 느린 롤아웃, 가중치 갱신 지연, 워커 장애가 그래픽처리장치 용량을 낭비하고 훈련을 지연시킬 수 있다. 엔비디아 다이나모는 이러한 제약을 완화하는 서빙 계층을 제공해 더 많은 학습 샘플을 확보하고 훈련 반복을 단축하도록 지원한다. 다이나모는 롤아웃 오케스트레이션과 추론 워커 사이에 위치한다. 강화학습 프레임워크는 최적화와 보상, 환경, 체크포인트, 샘플 수용 여부를 담당하고, 다이나모는 라우팅과 워커 관리, 서빙 제어, 텔레메트리를 맡는다. 추론 엔진은 생성과 갱신된 가중치 적용을 수행하며, 모델익스프레스는 모델 가중치와 아티팩트 배포를 지원한다. 생성 요청과 가중치 갱신 경로를 분리해 프레임워크가 샘플 생성 시점과 학습 적합성을 통제하면서도 서빙 최적화를 적용할 수 있게 한다. 롤아웃 병목의 핵심은 완료 시간, 반복 문맥, 가중치 최신성이다. 동일한 프롬프트로 여러 해답을 생성할 때 해당 프롬프트가 캐시된 워커로 요청을 보내면 중복 처리를 줄일 수 있지만, 한 워커에 부하가 몰리면 대기열이 생겨 다음 훈련 단계가 늦어진다. 다이나모의 키-값 캐시 인식 라우팅은 캐시 재사용과 워커 부하를 함께 고려해 중복 연산과 대기 시간을 줄이고, 훈련에 필요한 샘플의 완료를 앞당긴다. 가중치 배포에서는 모델익스프레스가 클러스터에 이미 있는 가중치를 재사용해 원격 저장소 로딩 부담을 줄인다. 호환 워커는 다른 그래픽처리장치 메모리에서 가중치를 직접 복사할 수 있으며, 델타 전송은 전체 모델 대신 변경분을 압축해 보내 전송 시간과 네트워크 트래픽을 낮춘다. 이 방식은 장애 복구에도 도움이 된다. 교체 워커가 체크포인트와 이후 델타를 적용해 훈련 실행에 합류하는 동안 정상 워커는 롤아웃 생성을 계속할 수 있다. 다이나모는 워커 손실을 감지해 신규 요청을 정상 워커로 유도하고, 준비된 교체 워커를 라우팅에 추가한다. 지원 구성에서는 진행 중 요청의 마이그레이션과 점진적 드레이닝도 가능하다. 강화학습 프레임워크는 중단된 샘플을 처리하고 교체 워커가 요구되는 가중치를 사용하도록 보장한다. 결과적으로 다이나모는 롤아웃 생성과 가중치 배포, 장애 복구를 훈련 루프 안에서 함께 최적화해 분산 그래픽처리장치 용량을 수용 가능한 학습 샘플로 전환하고 훈련 반복 속도를 높인다.

관련 링크