20日前

RGBDセマンティックセグメンテーションのための3Dグラフニューラルネットワーク

{Raquel Urtasun, Xiaojuan Qi, Sanja Fidler, Jiaya Jia, Renjie Liao}
RGBDセマンティックセグメンテーションのための3Dグラフニューラルネットワーク
要約

RGBDセマンティックセグメンテーションは、2次元の外観情報と3次元の幾何学的情報を統合的に扱う必要がある。本論文では、3次元点群上にk近傍グラフを構築する3次元グラフニューラルネットワーク(3DGNN)を提案する。このグラフの各ノードは複数の点を対応させ、2次元画像から単一CNN(unary CNN)によって抽出された外観特徴を初期化した隠れ表現ベクトルと関連付けられている。再帰関数を用いて、各ノードは現在の状態および隣接ノードからの入力メッセージに基づき、動的にその隠れ表現を更新する。この伝搬モデルは一定の時間ステップにわたり展開され、最終的な各ノードの表現を用いて各ピクセルのセマンティッククラスを予測する。モデルの学習には時系列に沿った逆誤差伝播(back-propagation through time)を用いる。NYUD2およびSUN-RGBDデータセットにおける広範な実験により、本手法の有効性が実証された。