HiScene: 利用等轴测视角生成分层的3D场景

场景级三维生成代表了多媒体和计算机图形学的一个关键前沿领域，然而现有的方法要么受限于有限的对象类别，要么在交互式应用中缺乏编辑灵活性。本文中，我们介绍了HiScene，一个新颖的分层框架，它弥合了二维图像生成与三维对象生成之间的差距，并提供了具有组合身份和审美场景内容的高保真场景。我们的核心见解是将场景视为在等距视角下的分层“对象”，其中房间作为一个复杂对象，可以进一步分解为可操作的项目。这种分层方法使我们能够生成与二维表示一致的三维内容，同时保持组合结构。为了确保每个分解实例的完整性和空间对齐性，我们开发了一种基于视频扩散的模态完成技术，该技术能有效处理物体之间的遮挡和阴影问题，并引入形状先验注入以确保场景内的空间一致性。实验结果表明，我们的方法能够产生更自然的对象布局和完整的对象实例，适合交互式应用，并且保持物理合理性和与用户输入的一致性。