NVIDIA, 새로운 AI 도구로 3D 장면과 실사 이미지 정밀 편집 가능해져

NVIDIA가 새롭게 출시한 AI 도구는 3D 장면과 초고속현실적 이미지를 정밀하게 편집할 수 있게 해줍니다. 이 모델을 통해 생성된 DiffusionRenderer의 기하학적 추정치와 특정 조명 조건 하에서 생성된 초고속현실적 이미지 예시를 보여주는 이미지가 있습니다. (제공: Liang 등, NVIDIA) 최근 몇 년 동안 컴퓨터 과학자들은 특정 입력이나 지시에 따라 개인화된 콘텐츠를 생성할 수 있는 점점 더 복잡한 생성형 AI 모델을 소개했습니다. 하지만 이러한 이미지 생성 모델은 불규칙하고, 이미지를 생성하는 것을 정확히 제어하는 것이 여전히 어려운 문제가 있었습니다. 올해 컴퓨터 비전 및 패턴 인식 회의(CVPR 2025)에서 NVIDIA 연구팀은 이러한 문제를 해결하기 위한 새로운 머신 러닝 접근 방식인 DiffusionRenderer를 발표했습니다. 이 도구는 사용자가 이미지의 특정 속성을 정밀하게 조정할 수 있도록 해주어, 이미지 생성과 편집을 한 단계 더 발전시킬 것으로 기대됩니다. NVIDIA AI 연구 부사장이자 스페이셜 인텔리전스 연구실을 이끄는 Sanja Fidler 연구원은 Tech Xplore에 "생성형 AI는 시각적 창작에 큰 진보를 이루었지만, 클래식 그래픽스와는 다른 완전히 새로운 창작 워크플로우를 도입하면서 여전히 제어성에 어려움을 겪고 있습니다."라고 말했습니다. "DiffusionRenderer는 전통적인 그래픽스 파이프라인의 정밀함과 AI의 유연성을 결합하여, 다음 세대 렌더링이 더 접근 가능하고 제어가 용이하며 기존 도구와 쉽게 통합될 수 있도록 설계하는 것이 목표였습니다." Fidler 연구원과 그 동료들이 제안한 새로운 접근 방식은 개별 2차원(2D) 비디오를 그래픽스 호환 장면 표현으로 변환할 수 있으며, 사용자는 이러한 표현에서 조명과 재질을 조정할 수 있습니다. 이로 인해 사용자들의 필요와 선호에 맞춰 새로운 콘텐츠를 생성할 수 있게 되었습니다. "DiffusionRenderer는 컴퓨터 그래픽스 분야에서 오랫동안 해결되지 않았던 두 가지 주요 문제, 즉 실제 비디오에서 기하학적 구조와 재질을 추출하는 역방향 렌더링과 장면 표현에서 초고속현실적 이미지와 비디오를 생성하는 순방향 렌더링을 동시에 해결한 획기적인 성과입니다."라고 Fidler 연구원은 설명했습니다. "특히 DiffusionRenderer는 기존에 시간이 많이 걸리는 작업들을 더 효율적으로 만드는 데 있어 생성형 AI를 중심에 놓았습니다. 자산 생성, 재조명, 재질 편집 등의 작업이 이 도구를 통해 더욱 빠르고 효과적으로 이루어질 것입니다." DiffusionRenderer는 확산 모델이라는 딥러닝 알고리즘을 기반으로 합니다. 이 알고리즘은 무작위 노이즈를 점진적으로 일관된 그래픽으로 정교하게 만들 수 있습니다. 다른 이미지 생성 기법들과 달리, DiffusionRenderer는 먼저 G-버퍼(즉, 특정 속성을 강조한 중간 이미지 표현)를 생성하고, 이를 활용하여 새로운 현실적인 이미지를 만들어냅니다. "우리는 또한 고급 합성 데이터셋을 구축하여 모델이 장면을 사실적으로 분해하고 재구성할 수 있도록 도왔다는 점에서 큰 성과를 거두었습니다. 이 데이터셋은 정확한 조명과 재질을 포함하고 있어, NVIDIA Cosmos와 통합할 때 결과가 더욱 선명하고 일관성이 높아집니다."라고 Fidler 연구원은 덧붙였습니다. 미래에는 DiffusionRenderer가 로봇 공학 연구자와 창의 프로페셔널 모두에게 유용하게 사용될 수 있을 것입니다. 예를 들어, 비디오 게임, 광고, 영화 제작 등을 하는 콘텐츠 크리에이터들은 이 도구를 통해 특정 속성을 정밀하게 추가, 삭제, 수정할 수 있어 더욱 효과적인 작업이 가능해질 것입니다. 또한 컴퓨터 과학자들은 이 도구를 사용하여 로봇 공학 또는 이미지 분류 알고리즘을 훈련시키기 위한 초고속현실적 데이터를 생성할 수도 있을 것입니다. "DiffusionRenderer의 또 다른 큰 영향은 시뮬레이션과 물리 AI, 특히 로봇과 자율 주행 차량(AV) 훈련에 필요한 가장 다양한 데이터셋을 생성할 수 있다는 점입니다. 새로운 장면에서 새로운 조명 조건을 생성할 수 있으므로, 이 공간에서의 경계를 계속해서 확장해 나갈 계획입니다."라고 Fidler 연구원은 말했습니다. "앞으로는 더 높은 품질의 결과를 생성하고, 런타임 효율성을 향상시키며, 의미론적 제어, 객체 합성, 고급 편집 도구 등의 더 강력한 기능을 추가하는 데 집중할 것입니다." 업계 전문가들은 DiffusionRenderer가 컴퓨터 그래픽스 분야에서의 큰 발전을 가져올 것으로 평가하고 있습니다. NVIDIA는 AI 기술의 선두 주자로 알려져 있으며, 이 도구는 NVIDIA의 기술적 혁신력을 다시 한 번 입증해주고 있습니다. 현재까지의 성과를 바탕으로, 앞으로도 DiffusionRenderer가 다양한 산업 분야에서 새로운 가능성을 열어갈 것으로 기대됩니다.