3Dゲート付き再帰的融合によるセマンティックシーンコンプリート

本稿では、セマンティックシーンコンプリート（SSC）タスクにおけるデータ融合問題に取り組む。SSCは、セマンティックラベル付けとシーンコンプリートを同時に処理できる。RGB画像には物体のテクスチャ情報を含み、セマンティックシーン理解において極めて重要な情報が含まれる。一方、深度画像は形状補完に高い関連性を持つ幾何学的特徴を捉えている。RGB画像と深度画像の両方を用いることで、単一モダリティを独立して用いる場合に比べ、SSCの精度をさらに向上させることができる。本研究では、ゲートモジュールおよびメモリモジュールを活用し、深度画像とRGB画像から関連する情報を適応的に選択・融合する3Dゲート付き再帰的融合ネットワーク（GRFNet）を提案する。単一段階の融合に基づき、さらに複数段階の融合戦略を提案し、ネットワーク内における異なる段階間の相関関係をモデル化できるようにしている。2つのベンチマークデータセットを用いた広範な実験により、提案手法GRFNetがSSCにおけるデータ融合において優れた性能と有効性を示した。コードは公開予定である。