HyperAIHyperAI

Command Palette

Search for a command to run...

Sem2NeRF:将单视图语义掩模转换为神经辐射场

Chen Yuedong ; Wu Qianyi ; Zheng Chuanxia ; Cham Tat-Jen ; Cai Jianfei

摘要

图像翻译和操控随着深度生成模型的快速发展而受到越来越多的关注。尽管现有的方法已经取得了令人印象深刻的结果,但它们主要在二维空间中进行操作。鉴于基于NeRF的三维感知生成模型的最新进展,我们提出了一项新的任务——语义到NeRF(Semantic-to-NeRF)翻译,该任务旨在以单视图语义掩模作为输入条件,重建由NeRF建模的三维场景。为了启动这一新颖的任务,我们提出了Sem2NeRF框架。具体而言,Sem2NeRF通过将语义掩模编码为控制预训练解码器三维场景表示的潜在代码来应对这一极具挑战性的任务。为进一步提高映射的准确性,我们在编码器和解码器的设计中引入了一种新的区域感知学习策略。我们验证了所提出的Sem2NeRF的有效性,并展示了它在两个基准数据集上优于多个强大的基线方法。代码和视频可在https://donydchen.github.io/sem2nerf/ 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供