要約
画像再構成および合成技術は、生成モデルの発展に伴い著しい進展を遂げてきた。しかし、特に周波数領域において、実画像と生成画像の間に依然としてギャップが存在する可能性がある。本研究では、周波数領域におけるギャップを狭めることで、画像再構成および合成の品質をさらに向上させられることを示す。我々は、容易に再構成可能な周波数成分を低重み化することで、モデルが困難な周波数成分に適応的に注目できる新たな「焦点周波数損失（focal frequency loss）」を提案する。この目的関数は既存の空間領域損失と補完的であり、ニューラルネットワーク固有のバイアスによって重要な周波数情報が損なわれるリスクを大幅に低減する効果を持つ。本手法が、VAE、pix2pix、SPADEといった代表的なモデルの知覚品質および定量的性能の両面で顕著な向上をもたらすことを実証した。さらに、StyleGAN2における応用可能性についても示した。