2 个月前

对齐潜在空间和图像空间以连接不可连接的元素

Skorokhodov, Ivan ; Sotnikov, Grigorii ; Elhoseiny, Mohamed
对齐潜在空间和图像空间以连接不可连接的元素
摘要

在这项工作中,我们开发了一种方法来生成具有多样性和复杂内容的无限高分辨率图像。该方法基于一个完全等变(perfectly equivariant)的生成器,该生成器在图像空间和潜在空间中进行同步插值。当采样潜在代码时,它们会被放置在坐标网格上,每个像素则通过附近样式代码的插值计算得出。我们修改了AdaIN机制以适应这种设置,并在对抗环境中训练生成器,使其能够生成位于任意两个潜在向量之间的图像。在测试阶段,这使得可以生成复杂且多样的无限图像,并将任何两个不相关的场景连接成一个任意大小的全景图。此外,我们引入了LHQ:一个新的包含\lhqsize个高分辨率自然景观的数据集。我们在LHQ、LSUN Tower和LSUN Bridge数据集上测试了这种方法,在生成的无限图像的质量和多样性方面至少比基线方法提高了4倍。项目页面位于https://universome.github.io/alis。

对齐潜在空间和图像空间以连接不可连接的元素 | 最新论文 | HyperAI超神经