NVIDIA, DGX Cloud Lepton으로 AI 개발 혁신 주도
NVIDIA DGX Cloud Lepton: 개발자를 위한 통합 AI 플랫폼 AI 네이티브 애플리케이션 시대가 도래했습니다. 개발자들은 고급 에이전트 및 물리적 AI 시스템을 구축하고 있지만, 지리적으로 확장하거나 GPU 공급업체 사이에서 일관성을 유지하는 것이 여전히 어려움을 겪고 있습니다. NVIDIA는 이러한 문제를 해결하기 위해 DGX Cloud Lepton을 개발했습니다. 이 플랫폼은 전 세계 클라우드 공급업체로부터 수만 대의 GPU에 연결되며, 이를 통해 AI 개발자가 NVIDIA 컴퓨팅 생태계 내의 GPU 용량과 AI 서비스에 통합 접근할 수 있게 해줍니다. 이 플랫폼은 이제 얼리 액세스(Early Access, EA)로 제공되고 있습니다. DGX Cloud Lepton은 AI 개발자의 생산성을 가속화하여 AI 애플리케이션을 빠르고 대규모로 구축, 훈련, 배포할 수 있도록 설계되었습니다. 이 플랫폼은 NVIDIA 소프트웨어 스택(예: NVIDIA NIM, NVIDIA NeMo)과 원활하게 통합되며, 조만간 NVIDIA Blueprints와 NVIDIA Cloud Functions(NVCF)도 지원할 예정입니다. 개발자는 build.nvidia.com을 통해 NVIDIA NIM 마이크로서비스와 사전 구축된 워크플로우에 즉시 접근할 수 있습니다. 훈련, 미세 조정, 추론 등을 지리적 범위나 공급업체 간에 확장할 때 DGX Cloud Lepton은 프로덕션급 컴퓨팅 인프라스트럭처와 오케스트레이션을 제공합니다. 글로벌 클라우드 공급업체들, 즉 Amazon Web Services, Firebird, Fluidstack, Mistral AI, Nebius, Nscale, Scaleway, Together AI 등은 DGX Cloud Lepton에서 NVIDIA Blackwell 및 기타 GPU를 사용할 수 있게 했습니다. 또한 Hugging Face는 DGX Cloud Lepton을 Training Cluster as a Service에 통합하여 AI 연구원들이 모델 훈련을 위한 확장 가능한 컴퓨팅에 접근할 수 있도록 할 계획입니다. 이들은 이미 CoreWeave, Crusoe, Firmus, Foxconn, GMI Cloud, Lambda, Yotta Data Services 등의 파트너사들과 협력하고 있으며, 앞으로 더 많은 파트너사가 참여할 예정입니다. DGX Cloud Lepton은 파트너사들의 자체 용량 옵션을 통해 컴퓨팅 리소스에 접근할 수 있어, 주권 AI 이니셔티브와 전략적인 데이터 위치 요구사항을 지원합니다. 개발자에게 주는 핵심 혜택 간편한 GPU 검색: 단일 플랫폼을 통해 여러 클라우드 공급업체의 GPU 리소스를 발견하고 할당할 수 있습니다. 지역, 비용, 성능을 기준으로 최적의 작업 부하 배치를 결정할 수 있으며, 익숙한 AI 도구를 표준화할 수 있습니다. 일관된 개발 환경: 기본 인프라와 관계없이 표준화된 개발 환경에서 작업할 수 있습니다. 다중 클라우드 관리 간소화: DGX Cloud Lepton은 운영 분리와 마찰을 줄여, 여러 클라우드 공급업체에서 원활한 관리와 확장을 가능하게 합니다. 다중 지역 및 데이터 주권 지원: 특정 지역의 GPU에 접근하여 데이터 거주 요구사항을 충족할 수 있습니다. 애플리케이션 소비자와 가까운 곳에 작업 부하를 배포하여 성능을 향상시키고 지연 시간을 줄일 수 있습니다. 내장된 신뢰성 및 탄력성: DGX Cloud Lepton은 GPU 건강 모니터링, 지능형 작업 부하 스케줄링, 고장 격리를 통해 안정적이고 예측 가능한 성능을 보장합니다. DGX Cloud Lepton의 주요 기능 Dev Pods: Jupyter 노트북, SSH, Visual Studio Code를 통한 대화형 AI/ML 개발을 지원합니다. 프로토타이핑, 디버깅, 반복적인 모델 실험에 적합합니다. Batch Jobs: 모델 훈련 및 데이터 전처리와 같은 대규모, 비대화형 작업 부하를 여러 노드에서 실행하기에 적합합니다. CPU, GPU, 메모리 요구사항을 지정하고, 노드 그룹을 선택하며, GPU 활용률, 메모리 소비, GPU 온도와 같은 실시간 메트릭을 통해 성능을 모니터링할 수 있습니다. 각 작업은 세부 상태 및 호스트 수준의 가시성을 제공합니다. Inference Endpoints: 기본 모델, 미세 조정된 모델, 사용자 정의 모델 등 다양한 모델을 배포하고 관리할 수 있습니다. NVIDIA NIM 또는 자체 컨테이너를 사용할 수 있어 유연한 배포 옵션을 제공합니다. 시스템은 수요에 따라 자동으로 모델 복제본을 확장하여 높은 가용성과 성능을 보장합니다. 내장된 건강 모니터링 및 탄력성 기능은 중단 시간을 줄이고 신뢰할 수 있는 운영을 보장합니다. 모니터링 및 관찰성 DGX Cloud Lepton은 GPU의 건강 상태를 지속적으로 모니터링하고, 지능형 작업 부하 스케줄링 및 고장 격리를 통해 안정적이고 예측 가능한 성능을 보장합니다. GPU 엔드포인트 로그를 포함한 관찰성 대시보드를 통해 시스템 상태를 실시간으로 확인할 수 있습니다. DGX Cloud Lepton 시작 방법 웹 사용자 인터페이스, 명령줄 인터페이스, SDKs 등을 통해 일관된 경험을 제공합니다. 프로토타이핑이나 프로덕션 배포에 관계없이 각 고객은 GPU 리소스를 관리하고 작업 부하를 실행할 수 있는 안전한 환경인 워크스페이스를 받습니다. 관리자는 사용자 접근 제어, 비밀 정보, 컨테이너 레지스트리, 사용량 할당 등을 설정합니다. GPU 리소스는 노드 그룹으로 배치되어 컴퓨팅 작업 부하의 기반이 됩니다. 개발자는 OCI 규격에 따른 모든 컨테이너 레지스트리, NVIDIA NGC 컨테이너 레지스트리를 포함하여 컨테이너 이미지로 자체 작업 부하를 배포할 수 있습니다. DGX Cloud Lepton은 컨테이너화된 AI 및 머신러닝 작업 부하의 배포를 간소화합니다. DGX Cloud Lepton 얼리 액세스 프로그램 참여하기 DGX Cloud Lepton의 얼리 액세스(EA) 프로그램에 참여하여 AI 개발 과정을 어떻게 개선할 수 있는지 직접 경험해보세요. 선정되면 DGX Cloud Lepton 제품 팀은 당신의 사용 사례와 컴퓨팅 요구사항을 이해하기 위해 연락할 것입니다. 이 새로운 기능으로 어떤 혁신적인 애플리케이션을 구축할지 기대됩니다! 자세한 내용은 문서를 참조하세요. 업계 전문가의 평가 및 회사 프로필 NVIDIA DGX Cloud Lepton은 AI 개발의 복잡성을 크게 줄여주며, 다양한 클라우드 공급업체와의 통합을 통해 확장성을 제공한다는 점에서 높은 평가를 받고 있습니다. 이 플랫폼은 특히 대규모 언어 모델 훈련이나 실시간 추론과 같은 요구사항을 가진 개발자들에게 큰 도움이 될 것으로 기대됩니다. NVIDIA는 AI 분야의 선두 주자로서, 이러한 혁신적인 솔루션을 통해 AI 개발자의 생산성과 효율성을 크게 향상시키고자 노력하고 있습니다.