NVIDIA 신세계 물리 AI 훈련: 월드 기반 모델과 워크플로우로 촉발하는 합성 데이터 혁명

NVIDIA는 로봇과 자율주행차 등 물리적 인공지능(AI) 시스템의 훈련을 가속화하기 위해 '세계 기초 모델(World Foundation Models, WFMs)' 기반의 새로운 플랫폼인 NVIDIA Cosmos를 공개했다. 이 모델은 현실 환경의 물리적 동작을 기반으로 미래 상태를 예측하고 생성하는 능력을 갖추고 있어, 현실에서 수집하기 어려운 풍부한 라벨 데이터를 합성할 수 있다. Cosmos는 세 가지 핵심 모델로 구성된다. 먼저, Cosmos Predict는 이미지, 영상, 텍스트 입력을 바탕으로 물리적으로 타당한 미래 프레임을 영상으로 생성해 로봇의 복잡한 작업 훈련에 활용할 수 있다. 예를 들어, 단일 전면 영상에서 다중 카메라 시점의 동영상을 생성하는 ‘Single2MultiView’ 기능을 통해 자율주행차 개발에 유용한 데이터를 제공한다. Cosmos Transfer는 세그멘테이션 맵, 라이다 스캔, HD 맵 등 다양한 입력 조건과 텍스트 프롬프트를 통해 시각적 다양성을 가진 합성 환경을 생성해 시뮬레이션에서 실제 환경으로의 전이 성능을 높인다. 마지막으로 Cosmos Reason은 장기적인 사고 체인을 통해 물리적 상식을 이해하고, 작업 순서와 제약 조건을 고려한 판단을 내리는 추론 모델로, 합성 데이터의 품질을 평가하고 고도화하는 데 핵심 역할을 한다. 이 모든 모델은 NVIDIA Research의 최신 기술로, GitHub, Hugging Face, 논문 등을 통해 개발자들이 접근 가능하다. 이를 통해 로봇과 자율주행 기술의 발전 속도가 크게 향상될 전망이다.