HyperAIHyperAI

Command Palette

Search for a command to run...

V-RGBX: 내재적 특성에 대한 정확한 제어를 통한 영상 편집

Ye Fang Tong Wu Valentin Deschaintre Duygu Ceylan Iliyan Georgiev Chun-Hao Paul Huang Yiwei Hu Xuelin Chen Tuanfeng Yang Wang

초록

대규모 영상 생성 모델은 실제 장면에서의 사진처럼 사실적인 외관 및 조명 상호작용을 모델링하는 데 있어 놀라운 잠재력을 보여주고 있다. 그러나 장면의 내재적 성질(예: 알베도, 노멀, 재질, 조사량 등)을 종합적으로 이해하고, 이를 영상 합성에 활용하며, 편집 가능한 내재적 표현을 지원하는 폐쇄 루프 프레임워크는 여전히 탐색되지 않은 영역이다. 본 연구에서는 내재적 특성을 인지하는 영상 편집을 위한 최초의 엔드투엔드 프레임워크인 V-RGBX를 제안한다. V-RGBX는 세 가지 핵심 기능을 통합한다: (1) 영상 역조명을 통한 내재 채널 추출, (2) 이러한 내재 표현에서부터 사진처럼 사실적인 영상 생성, (3) 내재 채널에 조건부한 키프레임 기반 영상 편집. V-RGBX의 핵심은 사용자가 선택한 키프레임을 통해 직관적이고 물리적으로 타당한 영상 편집을 가능하게 하는 인터리브드 조건부 메커니즘이다. 이 메커니즘은 어떤 내재 모달리티든 유연하게 조작할 수 있도록 지원한다. 광범위한 정성적 및 정량적 실험 결과를 통해 V-RGBX가 시간적으로 일관성 있고 사진처럼 사실적인 영상을 생성하며, 키프레임 편집을 시퀀스 전반에 걸쳐 물리적으로 타당한 방식으로 전파함을 입증하였다. 다양한 응용 분야에서의 효과성을 검증한 결과, 객체 외관 편집 및 장면 수준의 재조명 등에서 기존 방법들을 뛰어넘는 성능을 보였다.


AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 코코딩, 즉시 사용 가능한 환경, 최적의 GPU 가격으로 AI 개발을 가속화하세요.

AI 협업 코딩
바로 사용 가능한 GPU
최적의 가격

HyperAI Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp