摘要
肯·伯恩斯效应（Ken Burns effect）通过虚拟摄像机的扫描与缩放，实现静态图像的动态化处理。若进一步引入视差效果，即形成三维肯·伯恩斯效应，可显著提升视觉表现力。然而，手动实现此类效果耗时费力，且对编辑技术要求较高。现有自动化方法虽可生成类似效果，但通常需要从不同视角获取多张输入图像。本文提出一种新框架，仅需单张图像即可合成三维肯·伯恩斯效果，支持完全自动模式，也支持用户交互式控制摄像机运动。该框架首先采用一种深度预测流水线，生成适用于视图合成任务的场景深度图。针对现有深度估计方法中存在的几何失真、语义失真以及深度边界不准确等问题，我们设计了一种语义感知神经网络进行深度预测，并将其估计结果与基于分割的深度修正过程相结合，同时引入一个精细化神经网络，以提升物体边界处的深度预测精度。基于该深度估计结果，框架将输入图像映射为点云，并通过从对应摄像机位置渲染点云来合成视频帧。为在保持几何与时间一致性的同时有效处理遮挡区域（disocclusions），我们采用上下文感知的色彩与深度修复技术，对摄像机路径极端视角中缺失的信息进行填补，从而扩展点云的场景几何范围。大量不同内容图像的实验结果表明，本方法能够生成高度逼真的合成视频。本研究证明，相较于现有三维肯·伯恩斯效果生成方案，本系统可在用户投入极少操作的前提下，显著提升输出质量，实现更优的创作效果。