오미-이펙트: 통합적이고 공간적으로 제어 가능한 시각적 효과 생성

시각효과(VFX)는 현대 영화 제작에서 필수적인 시각적 강화 요소이다. 비디오 생성 모델은 VFX 제작에 비용 효율적인 해결책을 제공하지만, 현재의 방법들은 각 효과별로 LoRA(작은 매개변수 미세조정)를 별도로 훈련하는 방식에 제한되어 있어, 단일 효과에만 생성이 가능하다. 이 근본적인 제약은 특정 위치에 동시에 여러 효과를 생성해야 하는 공간적 제어가 가능한 복합 효과를 요구하는 응용 분야를 방해한다. 그러나 다양한 효과를 통합된 프레임워크에 통합하는 것은 크게 두 가지 도전 과제에 직면한다: 효과 간 차이로 인한 간섭 현상과 다중 VFX 공동 훈련 시 공간적 제어 불가능성이다. 이러한 문제를 해결하기 위해, 본 연구는 프롬프트 기반의 효과 생성과 공간적 제어가 가능한 복합 효과 생성이 가능한 최초의 통합 프레임워크인 Omni-Effects를 제안한다. 본 프레임워크의 핵심은 두 가지 핵심 기술 혁신으로 구성된다. 첫째, LoRA 기반의 전문가 혼합(Mixture of Experts, LoRA-MoE) 기법으로, 여러 전문가 LoRA를 그룹화하여 통합 모델 내에서 다양한 효과를 통합하면서도 서로 다른 작업 간 간섭을 효과적으로 완화한다. 둘째, 공간 인지형 프롬프트(Spatial-Aware Prompt, SAP)는 텍스트 토큰에 공간 마스크 정보를 포함시켜 정밀한 공간적 제어를 가능하게 한다. 또한 SAP 내부에 독립적 정보 흐름(Independent-Information Flow, IIF) 모듈을 도입하여 개별 효과에 해당하는 제어 신호를 분리함으로써 불필요한 혼합을 방지한다. 본 연구를 지원하기 위해, 이미지 편집과 First-Last Frame-to-Video(FLF2V) 합성 기법을 결합한 새로운 데이터 수집 파이프라인을 통해 종합적인 VFX 데이터셋인 Omni-VFX를 구축하였으며, 모델 성능을 검증하기 위한 전용 VFX 평가 프레임워크도 제안하였다. 광범위한 실험을 통해 Omni-Effects가 정밀한 공간 제어와 다양한 효과 생성을 가능하게 함을 입증하였으며, 사용자가 원하는 효과의 종류와 위치를 모두 명시할 수 있음을 확인하였다.