17일 전

정규화 흐름 기반 이미지 생성 평가 지표

Pranav Jeevan, Neeraj Nixon, Amit Sethi
정규화 흐름 기반 이미지 생성 평가 지표
초록

우리는 정규화 흐름(normalizing flows) 기반으로 생성된 이미지의 실제성(realness)을 평가하기 위해 두 가지 새로운 평가 지표를 제안한다. 첫째, 보다 간단하고 효율적인 흐름 기반 가능도 거리(Flow-based Likelihood Distance, FLD)이며, 둘째, 더 정확한 이중 흐름 기반 가능도 거리(Dual-flow based Likelihood Distance, D-FLD)이다. 정규화 흐름은 정확한 가능도를 계산할 수 있기 때문에, 제안하는 지표들은 생성된 이미지가 특정 도메인의 실제 이미지 분포와 얼마나 유사한지를 평가할 수 있다. 이 특성은 기존에 널리 사용되는 프레셰 인셉션 거리(Fréchet Inception Distance, FID) 및 기타 최신 지표들과 비교해 몇 가지 장점을 제공한다. 첫째, FID는 수만 개 이상의 이미지가 필요하지만, 다른 지표들도 적어도 수천 개 이상이 필요하나, 제안하는 지표는 수백 개의 이미지만으로도 평균적으로 안정화(수렴)되므로, 학습 루프 내의 검증 배치와 같은 소규모 생성 이미지 세트에 대해서도 신뢰할 수 있는 평가가 가능하다. 둘째, FID를 계산하기 위해 사용되는 Inception-V3보다 제안하는 지표를 계산하는 네트워크의 파라미터 수가 한 자릿수 이상 적어 계산 효율성이 뛰어나다. 새로운 도메인(예: X선 이미지)에서 생성된 이미지의 실제성을 평가할 경우, 이상적으로는 해당 도메인의 실제 이미지로 네트워크를 재학습하여 고유한 분포를 모델링해야 한다. 이 경우, 더 작은 크기의 제안 네트워크는 새로운 도메인에 더욱 유리하게 작용할 수 있다. 광범위한 실험 결과는 제안하는 지표들이 다양한 종류의 이미지 품질 저하 정도와 원만한 단조성(monotonicity) 관계를 갖는다는 것을 입증한다.