用于语义场景补全的3D门控循环融合

本文针对语义场景补全（Semantic Scene Completion, SSC）任务中的数据融合问题展开研究，该任务能够同时实现语义标注与场景补全。RGB图像包含物体的纹理细节，对于语义场景理解至关重要；而深度图像则捕捉了与形状补全高度相关的几何线索。联合使用RGB与深度图像，相较于单独使用任一模态，可显著提升SSC任务的精度。为此，本文提出一种三维门控递归融合网络（3D Gated Recurrent Fusion Network, GRFNet），该网络通过门控机制与记忆模块，自适应地选择并融合来自深度图与RGB图像中的有效信息。在此单阶段融合的基础上，进一步提出一种多阶段融合策略，能够建模网络中不同阶段之间的内在关联性。在两个基准数据集上的大量实验结果表明，所提出的GRFNet在SSC任务中的数据融合方面具有优异的性能与显著的有效性。相关代码将公开发布。