室内场景的语义重建指的是场景理解与物体重建的联合任务。现有方法通常仅关注该问题中的单一环节，或仅针对独立物体进行处理。本文旨在弥合理解与重建之间的鸿沟，提出一种端到端的解决方案，仅凭单张图像即可联合重建房间布局、物体边界框及三维网格。与传统上将场景理解与物体重建分别处理的方法不同，我们的方法基于整体场景上下文，构建了一个由三个层次组成的粗到细的层级结构：1）包含相机位姿的房间布局；2）三维物体边界框；3）物体网格。我们认为，对每个组件上下文的理解有助于其他组件的解析，从而实现联合的场景理解与重建。在SUN RGB-D和Pix3D数据集上的实验结果表明，所提方法在室内布局估计、三维物体检测和网格重建任务中均显著优于现有方法，表现出一致的优越性能。