페인트 트랜스포머: 스트로크 예측을 통한 피드포워드 신경 미술

뉴럴 페인팅은 주어진 이미지에 대해 일련의 붓자국을 생성하고, 신경망을 활용하여 비사실적인 방식으로 재창조하는 과정을 의미한다. 기존의 강화학습(Reinforcement Learning, RL) 기반 에이전트는 이 작업을 단계적으로 붓자국 시퀀스를 생성할 수 있으나, 안정적인 RL 에이전트를 훈련하는 것은 쉽지 않다. 반면, 붓자국 최적화 방법은 큰 탐색 공간 내에서 붓자국 파라미터의 집합을 반복적으로 탐색하는 방식이지만, 이는 매우 낮은 효율을 초래하여 실용성과 보편성에 큰 제약을 가진다. 본 논문에서는 기존의 접근과는 달리, 이 과제를 집합 예측 문제로 재정의하고, 전방향 신경망을 이용하여 붓자국 집합의 파라미터를 예측하는 새로운 트랜스포머 기반 프레임워크인 '페인트 트랜스포머(Paint Transformer)'를 제안한다. 이를 통해 모델은 병렬로 일련의 붓자국을 생성하고, 512×512 크기의 최종 그림을 거의 실시간으로 생성할 수 있다. 더 중요한 점은, 페인트 트랜스포머를 훈련하기 위한 사전 학습 데이터셋이 존재하지 않기 때문에, 어떤 외부 사전 학습 데이터셋 없이도 훈련이 가능하면서도 뛰어난 일반화 능력을 유지할 수 있도록 자가 훈련(self-training) 파이프라인을 설계했다는 점이다. 실험 결과, 본 방법은 기존 방법보다 우수한 그림 생성 성능을 달성하면서도 훈련 및 추론 비용이 더 낮음을 입증하였다. 코드와 모델은 공개되어 있다.