シーングラフは、2次元シーン理解タスクにおいて広く用いられ、コンパクトかつ明示的な表現として成功を収めてきた。本研究では、RGB-Dフレームの連続的な入力から3次元環境において段階的にセマンティックシーングラフを構築する手法を提案する。そのため、グラフニューラルネットワークを用いて、シーンの基本構成要素から得られるPointNet特徴を統合する。また、このような段階的再構成シナリオにおいて部分的または欠損したグラフデータが存在する状況に適した、新しいアテンション機構も提案する。本手法はシーンのサブマップ上で動作することを想定しているが、実験により、全体の3次元シーンに対しても有効に拡張可能であることを示した。実験結果から、本手法は3次元シーングラフ予測手法と比較して大幅な性能向上を達成しており、他の3次元セマンティックおよびパノプティックセグメンテーション手法と同等の精度を達成しつつ、35Hzのリアルタイム速度で動作することが確認された。