2 个月前

基于几何引导的条件GAN进行跨视图图像合成

Regmi, Krishna ; Borji, Ali
基于几何引导的条件GAN进行跨视图图像合成
摘要

我们致力于解决在两种截然不同的视角之间生成图像的问题,即地面(街道)视角和空中(俯视)视角。图像合成本身是一项极具挑战性的计算机视觉任务,而当生成过程以另一种视角的图像为条件时,这一任务变得更加复杂。由于视角的不同,这两种视角之间的重叠视野很小,共同内容也较少。在此背景下,我们尝试保留不同视角之间的像素信息,以确保生成的图像是对跨视角输入图像的真实再现。为此,我们提出使用单应性变换作为指导,根据共同视野将图像从一个视角映射到另一个视角,从而保留输入图像中的细节。随后,我们利用生成对抗网络来填补转换后图像中缺失的区域,并增强其真实感。我们的详尽评估和模型对比表明,利用几何约束可以为生成的图像添加精细的细节,并且相比于纯粹基于像素的合成方法,这可能是跨视角图像合成的一种更优方案。

基于几何引导的条件GAN进行跨视图图像合成 | 最新论文 | HyperAI超神经