툰컴포저: 생성 기반 후 키프레임 기술을 통한 만화 제작의 효율화

전통적인 만화 및 애니메이션 제작 과정은 키프레임, 인터포레이션, 색채화 단계로 구성되며, 이 모든 과정이 다량의 수작업을 수반한다. 최근 인공지능 기술의 발전에도 불구하고, 기존의 방법들은 이러한 단계들을 별도로 처리하기 때문에 오류 누적 및 아티팩트 발생 문제가 발생한다. 예를 들어, 인터포레이션 기법은 대규모 운동 처리에 어려움을 겪고 있으며, 색채화 기법은 프레임별로 밀도 높은 스케치를 요구한다. 이러한 문제를 해결하기 위해 우리는 키프레임 이후 단일 단계에서 인터포레이션과 색채화를 통합하는 생성 모델인 ToonComposer를 제안한다. ToonComposer는 키프레임 스케치를 활용해 정밀한 제어를 가능하게 하는 희소 스케치 주입 메커니즘을 도입한다. 또한, 공간적 낮은 랭크 어댑터를 활용한 만화 적응 기법을 통해 현대적인 비디오 기반 모델을 만화 도메인에 맞게 조정하면서도 시간적 사전 지식을 유지한다. 단 하나의 스케치와 색채 참조 프레임만으로도 ToonComposer는 희소 입력에 뛰어난 성능을 발휘하며, 임의의 시간 위치에 다수의 스케치를 입력하여 더 정밀한 운동 제어를 지원한다. 이러한 이중 기능은 수작업 부담을 줄이고 제작 유연성을 높여 실제 제작 환경에서 아티스트의 작업을 강력히 지원한다. 모델 평가를 위해 우리는 실제 사용 사례를 시뮬레이션하는 인간이 그린 스케치를 포함한 PKBench라는 벤치마크를 추가로 개발하였다. 평가 결과, ToonComposer는 시각적 품질, 운동 일관성, 제작 효율성 측면에서 기존 방법들을 모두 상회하며, 인공지능 기반 만화 제작을 위한 우수하고 유연한 솔루션을 제공함을 입증하였다.