HyperAIHyperAI

Command Palette

Search for a command to run...

NVFP4 기반 Blackwell, JAX 학습 가속

엔비디아가 JAX 기반 MaxText 프레임워크와 TransformerEngine을 연동해 NVIDIA Blackwell 아키텍처 전용 NVFP4 4비트 혼합 정밀도 전훈련 레시피를 공식 발표했다. 대규모 언어모델 학습 시 수천 개 가속기 운영에서 발생하는 스텝 타임 감소는 직접적인 비용 절감으로 이어지며, 엔비디아는 본 기술로 저비트 정밀도 훈련의 정확도 장벽을 해결했다. NVFP4는 하드웨어 native 지원과 2단계 마이크로 스케일링 인코딩을 결합해 FP8 대비 최대 7배의 GEMM 처리량을 달성한다. 학습 효율성을 극대화하기 위해 계산 부하가 높은 MLP 레이어에만 NVFP4 정밀도를 적용하고, Attention 블록은 소프트맥스 연산 시 양자화 노이즈 증폭과 아웃라이어 표현 한계를 고려해 고정밀도를 유지한다. 이를 위해 가중치 양자화에는 2D 블록 구조를, 가중치 기울기 입력에는 랜덤 하다마드 변환을, 기울기 양자화에는 확률적 반올림을 적용해 수렴 안정성을 확보했다. 벤치마크 결과, Llama 3 8B와 Llama 3.1 405B 모델을 NVIDIA GB200 및 GB300 Grace Blackwell 슈퍼칩에서 평가한 결과 NVFP4는 기존 FP8 대비 1.31배에서 1.73배까지의 처리량 향상을 기록했다. 특히 405B 모델에서 관찰된 최대 1.73배의 성능 차이는 단위 GPU당 500~700 TFLOPS 추가 부하로 직결되었다. 1만 스텝 학습 손실 곡선 분석 결과 양자화 오차 범위가 0.026 nats 이내로 측정되어 정밀도 손실 없이 처리 속도를 개선했음이 검증되었다. 해당 레시피는 JAX-Toolbox GitHub에서 공개되며 MaxText 내 quantization 파라미터 전환으로 즉시 활성화할 수 있다. 엔비디아는 이를 통해 AI 인프라 운영사가 동일한 시간 예산으로 더 큰 모델을 학습하거나, 개발 사이클을 단축할 수 있을 것으로 평가했다. 본 기능은 JAX, XLA, TransformerEngine 개발진의 협력으로 최적화되었으며 차세대 Rubin 플랫폼 확장도 예정되어 있다.

관련 링크