초복소 이미지 투 이미지 번역

이미지-이미지 번역(Image-to-image translation, I2I)은 입력 도메인의 콘텐츠 표현을 출력 도메인으로 전이함으로써 다양한 목표 도메인으로의 변환을 목표로 한다. 최근 I2I 생성 모델은 이 작업에서 뛰어난 성능을 달성하고 있으며, 각각 수천만 개의 파라미터를 가진 다양한 심층 신경망으로 구성되어 있다. 또한 이미지는 일반적으로 RGB 채널로 구성된 3차원 구조를 가지며, 일반적인 신경망 모델들은 이러한 차원 간의 상관관계를 고려하지 못함으로써 유용한 정보를 손실하게 된다. 본 논문에서는 초복소 대수(hypercomplex algebra)의 성질을 활용하여, 이미지 차원 간 기존의 관계를 유지할 수 있는 가벼운(I2I) 생성 모델을 제안한다. 이를 통해 추가적인 입력 정보를 효과적으로 활용할 수 있다. 여러 I2I 벤치마크에서 제안하는 퀘aternion StarGANv2 및 매개변수화된 초복소 StarGANv2(PHStarGANv2)가 FID 및 LPIPS 점수를 기준으로 높은 도메인 번역 성능과 우수한 이미지 품질을 유지하면서도 파라미터 수와 저장 메모리 용량을 크게 줄임을 보여준다. 전체 코드는 다음 주소에서 제공된다: https://github.com/ispamm/HI2I.