摘要
我们研究多视角新视角合成任务，旨在根据给定的源视角图像，合成任意相机姿态下的目标图像。为此，我们提出了一种端到端可训练的框架，该框架无需任何三维监督即可学习利用多视角信息来合成新视角图像。具体而言，我们的模型包含一个光流预测模块和一个像素生成模块，能够直接利用源视角中的有效信息，并基于统计先验对缺失像素进行合理推测。为融合多个源视角图像下两个模块的预测结果，我们引入了一种自学习的置信度聚合机制。我们在基于三维物体模型渲染的图像以及真实场景和合成场景上对模型进行了评估。实验结果表明，我们的方法能够达到当前最优的合成效果，并且在源图像数量增加时，其预测性能可逐步提升。