17일 전

BIGRoC: 강력한 분류기를 통한 이미지 생성 향상

Roy Ganz, Michael Elad
BIGRoC: 강력한 분류기를 통한 이미지 생성 향상
초록

최근 몇 년 동안 머신러닝 공동체 내에서 이미지 합성에 대한 관심이 크게 증가하였으며, 다양한 딥 생성 모델과 그 학습을 위한 방법들이 도입되고 있다. 본 연구에서는 어떤 생성 모델로부터 생성된 이미지의 품질과 분포 충실도를 향상시키기 위한 일반적인 모델 독립적 기법을 제안한다. 본 연구에서 제안하는 방법은 ‘BIGRoC(Bigging Image Generation via a Robust Classifier)’라 명명되며, 생성 모델의 추가 학습 없이 주어진 강건한 분류기의 지도를 받아 후처리 과정을 수행하는 방식이다. 합성된 이미지를 입력으로 받아, 해당 이미지가 강건한 분류기에 의해 올바르게 인식되도록, 분류기 기반의 투사 경사(gradient) 단계를 통해 이미지를 반복적으로 개선하는 방식을 제안한다. 우리는 다양한 이미지 합성 방법에 대해 이 후처리 알고리즘을 적용하였으며, CIFAR-10과 ImageNet에서 정량적·정성적으로 뚜렷한 개선 효과를 입증하였다. 놀랍게도, BIGRoC는 보정 기법 중 최초로 모델 독립성을 갖추고 있음에도 불구하고, 비교적 적은 정보만으로도 기존의 경쟁적 방법들을 능가한다. 구체적으로, ImageNet 128x128 해상도에서 가장 성능이 뛰어난 확산 모델을 대상으로 BIGRoC를 적용했을 때 FID 점수를 14.81% 향상시켜 2.53의 FID를 달성하였으며, 256x256 해상도에서는 7.87% 향상되어 FID 3.63을 기록하였다. 더불어 실시한 사용자 선호도 조사 결과, 사람들은 본 연구의 출력 결과를 현저히 더 선호하는 것으로 나타났다.