Command Palette
Search for a command to run...
오미-이펙트: 통합적이고 공간적으로 제어 가능한 시각적 효과 생성
오미-이펙트: 통합적이고 공간적으로 제어 가능한 시각적 효과 생성
Fangyuan Mao Aiming Hao Jintao Chen Dongxia Liu Xiaokun Feng Jiashu Zhu Meiqi Wu Chubin Chen Jiahong Wu Xiangxiang Chu
초록
시각효과(VFX)는 현대 영화 제작에서 필수적인 시각적 강화 요소이다. 비디오 생성 모델은 VFX 제작에 비용 효율적인 해결책을 제공하지만, 현재의 방법들은 각 효과별로 LoRA(작은 매개변수 미세조정)를 별도로 훈련하는 방식에 제한되어 있어, 단일 효과에만 생성이 가능하다. 이 근본적인 제약은 특정 위치에 동시에 여러 효과를 생성해야 하는 공간적 제어가 가능한 복합 효과를 요구하는 응용 분야를 방해한다. 그러나 다양한 효과를 통합된 프레임워크에 통합하는 것은 크게 두 가지 도전 과제에 직면한다: 효과 간 차이로 인한 간섭 현상과 다중 VFX 공동 훈련 시 공간적 제어 불가능성이다. 이러한 문제를 해결하기 위해, 본 연구는 프롬프트 기반의 효과 생성과 공간적 제어가 가능한 복합 효과 생성이 가능한 최초의 통합 프레임워크인 Omni-Effects를 제안한다. 본 프레임워크의 핵심은 두 가지 핵심 기술 혁신으로 구성된다. 첫째, LoRA 기반의 전문가 혼합(Mixture of Experts, LoRA-MoE) 기법으로, 여러 전문가 LoRA를 그룹화하여 통합 모델 내에서 다양한 효과를 통합하면서도 서로 다른 작업 간 간섭을 효과적으로 완화한다. 둘째, 공간 인지형 프롬프트(Spatial-Aware Prompt, SAP)는 텍스트 토큰에 공간 마스크 정보를 포함시켜 정밀한 공간적 제어를 가능하게 한다. 또한 SAP 내부에 독립적 정보 흐름(Independent-Information Flow, IIF) 모듈을 도입하여 개별 효과에 해당하는 제어 신호를 분리함으로써 불필요한 혼합을 방지한다. 본 연구를 지원하기 위해, 이미지 편집과 First-Last Frame-to-Video(FLF2V) 합성 기법을 결합한 새로운 데이터 수집 파이프라인을 통해 종합적인 VFX 데이터셋인 Omni-VFX를 구축하였으며, 모델 성능을 검증하기 위한 전용 VFX 평가 프레임워크도 제안하였다. 광범위한 실험을 통해 Omni-Effects가 정밀한 공간 제어와 다양한 효과 생성을 가능하게 함을 입증하였으며, 사용자가 원하는 효과의 종류와 위치를 모두 명시할 수 있음을 확인하였다.