要約
画像から画像への変換（Image-to-image translation, I2I）は、入力ドメインから出力ドメインへとコンテンツ表現を移行するタスクであり、複数のターゲットドメイン間での変換を可能にする。近年のI2I生成モデルは、このタスクにおいて優れた成果を上げており、それぞれが数千万パラメータを有する多様な深層ネットワークから構成されている。さらに、画像は通常、RGBチャネルで構成される三次元データであるが、一般的なニューラルモデルはチャネル間の次元相関を考慮していないため、有益な情報が損失される。本研究では、超複素数代数（hypercomplex algebra）の性質を活用することで、画像の次元間における既存の関係を保持できる軽量なI2I生成モデルの構築を提案する。これにより、追加の入力情報を利用可能となる。多様体上のI2Iベンチマークにおいて、提案する四元数型StarGANv2（Quaternion StarGANv2）およびパラメータ化超複素数StarGANv2（PHStarGANv2）が、パラメータ数とメモリ使用量を大幅に削減しつつも、FIDおよびLPIPSスコアに基づく高精度なドメイン変換性能と優れた画像品質を維持できることを示した。実装コードは以下のURLで公開されている：https://github.com/ispamm/HI2I。